Command Palette

Search for a command to run...

5 个月前

从一到多:用于3D生成的情境部分潜在变量

从一到多:用于3D生成的情境部分潜在变量

摘要

近期在三维生成领域的进展已经从多视角二维渲染方法过渡到利用真实数据中的几何先验的三维本征潜在扩散框架。尽管取得了进展,但仍存在三个关键限制:(1)单潜在表示无法捕捉复杂的多部件几何结构,导致细节退化;(2)整体潜在编码忽略了对组合设计至关重要的部件独立性和相互关系;(3)全局条件机制缺乏细粒度的可控性。受人类三维设计工作流程的启发,我们提出了CoPart——一种基于部件感知的扩散框架,该框架通过将三维对象分解为上下文相关的部件潜在表示来实现连贯的多部件生成。这一范式提供了三个优势:i)通过部件分解降低编码复杂度;ii)支持显式的部件关系建模;iii)支持部件级别的条件控制。为进一步提高性能,我们开发了一种互导策略,用于微调预训练的扩散模型以进行联合部件潜在表示去噪,确保几何连贯性和基础模型先验的同时满足。为了支持大规模训练,我们构建了Partverse——一个从Objaverse通过自动网格分割和人工验证注释派生出的新颖三维部件数据集。大量实验表明,CoPart在部件级别编辑、关节物体生成和场景合成方面具有前所未有的可控性和卓越的能力。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从一到多:用于3D生成的情境部分潜在变量 | 论文 | HyperAI超神经