Command Palette

Search for a command to run...

5 个月前

AnimaX:使用联合视频-姿态扩散模型在3D中赋予无生命物体以动画效果

Zehuan Huang Haoran Feng Yangtian Sun Yuanchen Guo Yanpei Cao Lu Sheng

AnimaX:使用联合视频-姿态扩散模型在3D中赋予无生命物体以动画效果

摘要

我们介绍了AnimaX,一种前馈式的3D动画框架,该框架将视频扩散模型的运动先验与基于骨骼的可控结构相结合。传统的运动合成方法要么局限于固定的骨骼拓扑结构,要么需要在高维变形空间中进行昂贵的优化。相比之下,AnimaX有效地将基于视频的运动知识转移到3D领域,支持具有任意骨骼的各种关节网格。我们的方法将3D运动表示为多视角、多帧的2D姿态图,并通过模板渲染和文本运动提示实现联合视频-姿态扩散。我们引入了共享位置编码和模态感知嵌入,以确保视频和姿态序列之间的时空对齐,从而有效地将视频先验转移到运动生成任务中。生成的多视角姿态序列通过三角测量转化为3D关节位置,并通过逆向动力学转换为网格动画。AnimaX在一个新整理的数据集上进行了训练,该数据集包含16万个装备好的序列,在VBench上的泛化能力、运动保真度和效率方面达到了最先进的水平,提供了一种适用于类别无关3D动画的可扩展解决方案。项目页面:https://anima-x.github.io/{https://anima-x.github.io/}。注:为了保持链接格式的一致性和可点击性,最后一个大括号内的链接应直接显示为 https://anima-x.github.io/ 而不是 {https://anima-x.github.io/}

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AnimaX:使用联合视频-姿态扩散模型在3D中赋予无生命物体以动画效果 | 论文 | HyperAI超神经