Command Palette

Search for a command to run...

4 个月前

基于Transformer的可扩展扩散模型

William Peebles Saining Xie

基于Transformer的可扩展扩散模型

摘要

我们探索了一类基于Transformer架构的新型扩散模型。我们训练了图像的潜在扩散模型,将以往广泛使用的U-Net主干网络替换为作用于潜在块(latent patches)上的Transformer。通过前向传播复杂度(以Gflops衡量)的视角,我们分析了所提出的扩散Transformer(Diffusion Transformers, DiTs)的可扩展性。研究发现,具有更高Gflops的DiTs——无论是通过增加Transformer的深度或宽度,还是增加输入token的数量——均表现出更优的性能,FID指标持续降低。除了具备良好的可扩展性外,我们最大的DiT-XL/2模型在类别条件下的ImageNet 512×512和256×256基准测试中均超越了所有先前的扩散模型,尤其在256×256尺度上取得了当前最优的FID值2.27。

基准测试

基准方法指标
image-generation-on-imagenet-256x256DiT-XL/2
FID: 2.27
image-generation-on-imagenet-512x512DiT-XL/2
FID: 3.04
Inception score: 240.82

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供