Xiaoxiao Long extsuperscript{1,3,6*} Yuan-Chen Guo extsuperscript{2,3*} Cheng Lin extsuperscript{1†} Yuan Liu extsuperscript{1} Zhiyang Dou extsuperscript{1} Lingjie Liu extsuperscript{4} Yuexin Ma extsuperscript{5} Song-Hai Zhang extsuperscript{2} Marc Habermann extsuperscript{6} Christian Theobalt extsuperscript{6}

摘要
在本研究中,我们介绍了Wonder3D,这是一种从单视图图像高效生成高保真纹理网格的新方法。基于分数蒸馏采样(Score Distillation Sampling, SDS)的最新方法已经展示了从2D扩散先验恢复3D几何结构的潜力,但这些方法通常存在耗时的逐形状优化和几何结构不一致的问题。相比之下,某些工作通过快速网络推理直接生成3D信息,但其结果往往质量较低且缺乏几何细节。为了全面提高图像到3D任务的质量、一致性和效率,我们提出了一种跨域扩散模型,该模型可以生成多视角法线图及其对应的彩色图像。为确保一致性,我们采用了多视角跨域注意力机制,促进了不同视角和模态之间的信息交换。最后,我们引入了一种几何感知法线融合算法,从多视角2D表示中提取高质量表面。我们的大量评估表明,与先前的工作相比,我们的方法在高质量重建、稳健泛化和合理效率方面取得了显著成果。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| single-view-3d-reconstruction-on-gso | Wonder3D | Chamfer Distance: 0.0199 IoU: 62.44 |