Command Palette

Search for a command to run...

5 个月前

T-LoRA:无需过拟合的单图像扩散模型定制

Vera Soboleva Aibek Alanov Andrey Kuznetsov Konstantin Sobolev

T-LoRA:无需过拟合的单图像扩散模型定制

摘要

扩散模型微调为定制预训练模型以生成特定对象提供了一种强大的方法,但在训练样本有限时,经常会出现过拟合问题,这不仅损害了模型的泛化能力,还降低了输出的多样性。本文旨在解决一个既具挑战性又极具影响力的任务——仅使用一张概念图像来适应扩散模型,因为单图像定制具有最大的实际应用潜力。我们引入了T-LoRA(Timestep-Dependent Low-Rank Adaptation),这是一种专门设计用于扩散模型个性化的时步依赖低秩适应框架。在我们的研究中,我们发现较高的扩散时步比较低的时步更容易出现过拟合现象,因此需要一种时步敏感的微调策略。T-LoRA融合了两项关键创新:(1) 一种动态微调策略,根据扩散时步调整秩约束更新;(2) 一种权重参数化技术,通过正交初始化确保适配器组件之间的独立性。大量实验表明,T-LoRA及其各个组件在性能上优于标准LoRA和其他扩散模型个性化技术。它们在概念保真度和文本对齐之间实现了更好的平衡,突显了T-LoRA在数据有限和资源受限场景中的潜力。代码可在https://github.com/ControlGenAI/T-LoRA 获取。

代码仓库

controlgenai/t-lora
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供