Command Palette

Search for a command to run...

4 个月前

CharacterShot:可控且一致的4D角色动画

Junyao Gao Jiaxing Li Wenran Liu Yanhong Zeng Fei Shen Kai Chen Yanan Sun Cairong Zhao

CharacterShot:可控且一致的4D角色动画

摘要

本文提出了一种可控且一致的4D角色动画框架——CharacterShot,使任意设计师仅需一张参考角色图像和一组2D姿态序列,即可生成动态的3D角色动画(即4D角色动画)。我们首先基于前沿的基于DiT(Diffusion Transformer)的图像到视频模型,预训练一个强大的2D角色动画模型,该模型能够以任意2D姿态序列作为可控信号。随后,通过引入双注意力模块并结合相机先验,将动画模型从2D提升至3D,从而生成在时空一致性与多视角一致性方面表现优异的多视角视频。最后,我们在这些多视角视频上采用一种新颖的邻域约束4D高斯点云优化方法,获得连续且稳定的4D角色表示。此外,为提升以角色为中心的性能,我们构建了一个大规模数据集Character4D,包含13,115个具有多样化外观与动作的独特角色,其数据从多个视角渲染生成。在我们新构建的基准测试集CharacterBench上进行的大量实验表明,所提方法显著优于当前最先进的技术。代码、模型与数据集将公开发布于 https://github.com/Jeoyal/CharacterShot

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CharacterShot:可控且一致的4D角色动画 | 论文 | HyperAI超神经