Command Palette

Search for a command to run...

4 个月前

Tinker:扩散模型馈赠3D——无需场景级优化的稀疏输入多视角一致性编辑

Canyu Zhao Xiaoman Li Tianjian Feng Zhiyue Zhao Hao Chen Chunhua Shen

Tinker:扩散模型馈赠3D——无需场景级优化的稀疏输入多视角一致性编辑

摘要

我们提出 Tinker,一个通用的高保真三维编辑框架,可在单次输入(one-shot)和少量输入(few-shot)模式下运行,且无需针对每个场景进行微调。与以往需要大量场景级优化以保证多视角一致性或生成数十个一致编辑视图的方法不同,Tinker 仅需一至两张图像即可实现鲁棒且多视角一致的编辑效果。这一能力源于对预训练扩散模型的重新利用,从而激发了其潜在的三维感知能力。为推动该领域的研究,我们构建了首个大规模多视角编辑数据集及其数据处理流程,涵盖多样化的场景与风格。基于该数据集,我们开发出无需场景级训练即可生成多视角一致编辑结果的框架,包含两个创新组件:(1)参考驱动的多视角编辑器:支持精确、基于参考的编辑操作,并确保所有视角间的一致性;(2)任意视角到视频的合成器:利用视频扩散模型中的时空先验,即使在输入稀疏的情况下,也能实现高质量的场景补全与新视角生成。通过大量实验验证,Tinker 显著降低了通用三维内容创作的门槛,在编辑、新视角合成与渲染增强任务上均达到当前最优性能。我们相信,Tinker 是迈向真正可扩展、零样本三维编辑的关键一步。项目主页:https://aim-uofa.github.io/Tinker

代码仓库

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Tinker:扩散模型馈赠3D——无需场景级优化的稀疏输入多视角一致性编辑 | 论文 | HyperAI超神经