Command Palette

Search for a command to run...

5 个月前

LongAnimation:基于动态全局-局部记忆的长动画生成

Nan Chen Mengqi Huang Yihao Meng Zhendong Mao

LongAnimation:基于动态全局-局部记忆的长动画生成

摘要

动画上色是真实动画产业生产中的重要组成部分。长时间的动画上色具有较高的劳动力成本。因此,基于视频生成模型的自动化长时间动画上色具有重要的研究价值。现有的研究主要局限于短期上色。这些研究采用了局部范式,通过融合重叠特征来实现局部片段之间的平滑过渡。然而,局部范式忽略了全局信息,无法维持长时间的颜色一致性。在本研究中,我们认为通过动态全局-局部范式可以实现理想的长时间颜色一致性,即动态提取与当前生成相关的全局颜色一致特征。具体而言,我们提出了一种名为LongAnimation的新框架,该框架主要包括SketchDiT、动态全局-局部记忆(DGLM)模块和颜色一致性奖励。SketchDiT捕捉混合参考特征以支持DGLM模块。DGLM模块利用一个长视频理解模型,动态压缩全局历史特征,并将其适应性地与当前生成的特征进行融合。为了进一步优化颜色一致性,我们引入了颜色一致性奖励机制。在推理过程中,我们提出了一种颜色一致性融合方法,以平滑视频片段之间的过渡。大量的实验表明,在短期(14帧)和长期(平均500帧)动画上色任务中,LongAnimation在保持短期和长期颜色一致性方面表现出有效性。代码可在https://cn-makers.github.io/long_animation_web/ 获取。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供