Command Palette
Search for a command to run...
协同扩散-自回归范式 SDAR
Synergistic Diffusion-AutoRegression(SDAR)是由上海人工智能实验室于 2025 年 10 月提出的,相关研究成果发表于论文「SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation」。
SDAR 是一种协同扩散-自回归范式,建立了一个新的语言建模框架,结合了自回归的训练效率和扩散的并行推理能力,旨在协调自回归训练的效率与基于扩散的推理的并行性,其关键原则是解耦两个阶段:利用全规模的 AR 预训练来确保稳定性和效率,然后引入一个轻量级的适应阶段,使模型具备块状扩散解码能力。这种设计保留了 AR 的实际优势——如 KV 缓存、可变长度生成和强大的优化行为,同时释放了扩散独特的块内并行生成优势。