Command Palette

Search for a command to run...

5 个月前

Diffuman4D:基于稀疏视角视频和时空扩散模型的4D一致人体视图合成

Yudong Jin Sida Peng Xuan Wang Tao Xie Zhen Xu Yifan Yang Yujun Shen Hujun Bao Xiaowei Zhou

Diffuman4D:基于稀疏视角视频和时空扩散模型的4D一致人体视图合成

摘要

本文针对以稀疏视角视频为输入的人体高保真视图合成挑战进行了研究。以往的方法通过利用4D扩散模型生成新视角的视频来解决观测不足的问题。然而,这些模型生成的视频往往缺乏时空一致性,从而降低了视图合成的质量。在本文中,我们提出了一种新颖的滑动迭代去噪过程,以增强4D扩散模型的时空一致性。具体而言,我们在一个潜在网格中定义了每个潜在变量,该变量编码了特定视角和时间戳下的图像、相机姿态和人体姿态,然后使用滑动窗口沿空间和时间维度交替去噪潜在网格,最后从相应的去噪潜在变量中解码出目标视角的视频。通过迭代滑动,信息在整个潜在网格中充分流动,使得扩散模型获得了较大的感受野,从而增强了输出的4D一致性,并且使GPU内存消耗保持在可接受范围内。我们在DNA-Rendering和ActorsHQ数据集上的实验表明,我们的方法能够合成高质量且一致的新视角视频,并显著优于现有方法。请访问我们的项目页面查看交互式演示和视频结果:https://diffuman4d.github.io/

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供