Command Palette

Search for a command to run...

5 个月前

FreeMorph:无需调参的扩散模型通用图像变形

Yukang Cao Chenyang Si Jinghao Wang Ziwei Liu

FreeMorph:无需调参的扩散模型通用图像变形

摘要

我们介绍了FreeMorph,这是首个无需调参的图像变形方法,能够处理具有不同语义或布局的输入。现有的方法依赖于微调预训练扩散模型,受到时间限制和语义/布局差异的制约,而FreeMorph则无需针对每个实例进行训练即可实现高保真图像变形。尽管这些无调参方法在效率和潜力方面表现出色,但由于多步骤去噪过程的非线性特性和预训练扩散模型继承的偏差,它们在保持高质量结果方面仍面临挑战。本文中,我们通过集成两项关键创新来解决这些问题。1)首先,我们提出了一种引导感知的球面插值设计,通过修改自注意力模块来显式地利用输入图像的引导信息,从而解决了身份丢失问题并确保生成序列中的方向过渡。2)此外,我们引入了一种面向步骤的变化趋势,将从每个输入图像派生的自注意力模块进行融合,以实现受控且一致的过渡,同时尊重两个输入图像。我们的大量评估表明,FreeMorph在速度上比现有方法快10倍至50倍,并且在图像变形领域树立了新的最先进水平。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FreeMorph:无需调参的扩散模型通用图像变形 | 论文 | HyperAI超神经