Command Palette

Search for a command to run...

5 个月前

LayerCake: 在大型语言模型层中进行 Token 意识对比解码

Jingze Zhu Yongliang Wu Wenbo Zhu Jiawang Cao Yanqiang Zheng Jiawei Chen Xu Yang Bernt Schiele Jonas Fischer Xinting Hu

LayerCake: 在大型语言模型层中进行 Token 意识对比解码

摘要

大型语言模型(LLMs)在自然语言理解和生成方面表现出色,但仍然容易出现事实错误,这限制了它们在知识密集型任务中的可靠性。尽管解码时策略提供了一种无需训练的高效解决方案,现有的方法通常孤立地处理词元级和层级信号,忽略了它们之间的联合动态。在这项工作中,我们提出了一种词元感知、层局部化的对比解码方法,该方法通过将特定类型的词元与其最具影响力的变压器层对齐来提高事实生成的准确性。通过经验性的注意力分析,我们发现了两个关键模式:标点符号词元在早期层中受到主导关注,而概念性词元则在中间层中主导语义推理。通过选择性地抑制这些词元类型在其相应深度的注意力,我们实现了受控的事实退化,并从中推导出对比信号以指导最终的事实解码。我们的方法不需要额外的训练或模型修改,实验结果表明,该方法在多个大型语言模型和各种基准测试中持续提高了事实准确性。

代码仓库

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LayerCake: 在大型语言模型层中进行 Token 意识对比解码 | 论文 | HyperAI超神经