Command Palette

Search for a command to run...

4 个月前

iLRM:一种迭代式大规模3D重建模型

Gyeongjin Kang Seungtae Nam Xiangyu Sun Sameh Khamis Abdelrahman Mohamed Eunbyung Park

iLRM:一种迭代式大规模3D重建模型

摘要

前馈式3D建模已成为实现快速且高质量3D重建的有前景方法。特别是,直接生成显式3D表示(如3D高斯溅射)因其快速、高质量的渲染效果以及广泛的应用前景而受到广泛关注。然而,当前多数先进方法主要基于Transformer架构,存在严重的可扩展性问题,因其依赖于多视角输入图像中所有图像标记(image tokens)之间的全连接注意力机制,导致随着视角数量或图像分辨率的增加,计算成本急剧上升,难以实际应用。为实现可扩展且高效的前馈式3D重建,我们提出一种迭代式大型3D重建模型(Iterative Large 3D Reconstruction Model, iLRM),该模型通过迭代优化机制生成3D高斯表示,并遵循三项核心原则:(1)将场景表示与输入视角图像解耦,以实现紧凑的3D表示;(2)将全注意力多视角交互分解为两阶段注意力机制,显著降低计算开销;(3)在每一网络层中注入高分辨率信息,以实现高保真度的重建效果。在RE10K和DL3DV等广泛使用的基准数据集上的实验结果表明,iLRM在重建质量与速度方面均优于现有方法。尤为突出的是,iLRM展现出卓越的可扩展性,在相近计算成本下,通过高效利用更多输入视角,实现了显著更高的重建质量。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
iLRM:一种迭代式大规模3D重建模型 | 论文 | HyperAI超神经