Gated Attention 是由阿里通义千问团队联合爱丁堡大学、斯坦福大学等高校的研究团队于 2025 年 5 月提出的，相关研究成果发表于论文「Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free」，获 NeurIPS 2025 最佳论文奖。

研究团队通过大规模实验（涵盖 15B MoE 与 1.7B 密集模型的 30 个变体，在 3.5T token 上训练）系统研究了一系列门控增强的 softmax 注意力变体。研究发现，仅需在缩放点积注意力（SDPA）之后应用一个特定头的 sigmoid 门控，即可稳定提升模型性能。该成果突出了门控机制对标准注意力层中模型性能和行为的影响，通过评估门控变体，揭示了它们引入非线性、稀疏性并消除注意力陷阱的能力。这些发现加深了业界对门控注意力机制的理解。