Command Palette

Search for a command to run...

协同扩散-自回归范式 SDAR

日期

3 天前

机构

上海人工智能实验室

论文链接

2510.06303

Synergistic Diffusion-AutoRegression(SDAR)是由上海人工智能实验室于 2025 年 10 月提出的,相关研究成果发表于论文「SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation」。

SDAR 是一种协同扩散-自回归范式,建立了一个新的语言建模框架,结合了自回归的训练效率和扩散的并行推理能力,旨在协调自回归训练的效率与基于扩散的推理的并行性,其关键原则是解耦两个阶段:利用全规模的 AR 预训练来确保稳定性和效率,然后引入一个轻量级的适应阶段,使模型具备块状扩散解码能力。这种设计保留了 AR 的实际优势——如 KV 缓存、可变长度生成和强大的优化行为,同时释放了扩散独特的块内并行生成优势。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供