Command Palette

Search for a command to run...

4 个月前

替身:一种轻量级且即插即用的视频生成身份控制方法

Bowen Xue Qixin Yan Wenjing Wang Hao Liu Chen Li

替身:一种轻量级且即插即用的视频生成身份控制方法

摘要

在生成式人工智能领域,生成与用户指定身份一致的高保真人类视频具有重要意义,但仍然面临巨大挑战。现有方法通常依赖于大量训练参数,且难以与其他AIGC工具兼容。本文提出了一种轻量级、即插即用的身份保持视频生成框架——Stand-In。具体而言,我们在预训练的视频生成模型中引入了一个条件图像分支,通过带有条件位置映射的受限自注意力机制实现身份控制,仅需约2000对样本即可快速学习。尽管仅引入并训练了约1%的额外参数,该框架在视频质量与身份保持方面均取得了优异表现,超越了其他全参数微调方法。此外,该框架可无缝集成至其他任务中,如主体驱动视频生成、姿态参考视频生成、风格化处理以及人脸替换等。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
替身:一种轻量级且即插即用的视频生成身份控制方法 | 论文 | HyperAI超神经