Command Palette
Search for a command to run...
Zhuoyang Zhang Luke J. Huang Chengyue Wu Shang Yang Kelly Peng Yao Lu Song Han

摘要
我们提出了一种局部感知并行解码(Locality-aware Parallel Decoding, LPD)方法,以加速自回归图像生成。传统的自回归图像生成依赖于下一补丁预测,这是一种受内存限制的过程,导致高延迟。现有的研究尝试通过转向多补丁预测来并行化下一补丁预测,从而加速这一过程,但仅实现了有限的并行化。为了在保持生成质量的同时实现高并行化,我们引入了两项关键技术:(1)灵活并行自回归建模,一种新颖的架构,能够支持任意生成顺序和并行度。它使用可学习的位置查询标记来指导目标位置的生成,同时确保并发生成的标记之间的相互可见性,以实现一致的并行解码。(2)局部感知生成排序,一种新颖的时间表策略,通过形成组来最小化组内依赖关系并最大化上下文支持,从而提高生成质量。借助这些设计,在ImageNet类别条件生成任务中,我们将256×256分辨率下的生成步骤从256减少到20,将512×521分辨率下的生成步骤从1024减少到48,并且在不牺牲质量的前提下,至少比之前的并行自回归模型降低了3.4倍的延迟。