Command Palette

Search for a command to run...

4 个月前

Seed Diffusion:一种具备高速推理能力的大规模扩散语言模型

Seed Diffusion:一种具备高速推理能力的大规模扩散语言模型

摘要

我们提出Seed Diffusion Preview,这是一种基于离散状态扩散机制的大规模语言模型,具备极快的推理速度。得益于非顺序的并行生成机制,离散扩散模型显著提升了推理效率,有效缓解了传统逐标记解码带来的固有延迟,这一优势已在近期研究中得到验证(例如Mercury Coder、Gemini Diffusion)。在H20 GPU上,Seed Diffusion Preview实现了2,146 token/s的推理速度,同时在一系列标准代码评估基准上保持了具有竞争力的性能表现,显著优于当前主流的Mercury与Gemini Diffusion模型,在代码模型的“速度-质量”帕累托前沿上树立了新的技术标杆。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Seed Diffusion:一种具备高速推理能力的大规模扩散语言模型 | 论文 | HyperAI超神经