GenRecon将生成式3D先验与多视角重建结合,把场景切分成重叠chunk,用Trellis.2等生成模型条件重建各chunk并拼接。核心创新是投影式conditioning,将多视角图像特征提升到3D空间。输出可编辑PBR mesh,室内重建保真度和完整度比SOTA高16%。
卧槽,手机就可以完成3D建模了!
GenRecon提出了一种把生成式3D先验和多视角重建结合起来的新方法。
它不再单纯依赖传统SfM/MVS或NeRF-style优化,而是把场景切成有重叠的chunk,用强生成模型(比如Trellis.2)做条件生成来重建每个chunk,再拼起来。
核心创新是用投影式的conditioning机制,把多视角图像特征直接提升到和生成模型对齐的3D空间里。
最终输出是高质量、可编辑的PBR mesh,在室内场景重建上据称比当前SOTA高出16%的保真度和完整度。
这其实代表了当前3D重建的一个趋势:不再只靠几何约束,是越来越多地借用生成模型的先验来补全缺失信息、提升细节。