混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要

本文第一作者柳潇然，复旦大学、上海创智学院 2022 级硕博连读生，导师邱锡鹏、何子薇。研究方向为长上下文大语言模型，曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余篇。

背景介绍

长上下文已经成为大语言模型重要的基础能力，但长上下文也给模型架构带来了一个现实问题：全注意力能够直接建模任意位置之间的关系，却带来随序列长度显著增长的计算和显存开销；滑窗注意力和线性注意力更加高效，但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。

面对滑窗注意力和线性注意力两类固定计算与存储复杂度的高效方案，混合架构应该采取全注意力与哪种的混合呢？复旦创智邱锡鹏团队的最新工作混合架构的长文力学 Mechanics of Long-Context Hybrid Models给出了一个有趣的答案：我全都要。

论文从混合位置的角度，系统比较了基于 RoPE/NoPE 全注意力、滑窗注意力（SWA），以及 GLA/GDN 等门控线性注意力的混合架构在长上下文任务中的表现，并进一步分析了不同注意力的协同机制。

• Paper：https://arxiv.org/abs/2610.10114
• GitHub：https://github.com/OpenMOSS/Hybrid-Mechanics
• 知乎：https://zhuanlan.zhihu.com/p/2092654065377457038

观察

研究团队在 376M、776M、1B 和 3B 四种规模上开展实验。模型先进行 4k 上下文的短文预训练，再进行 32k 上下文的长文续训；评测覆盖 PG19 PPL、LongPPL、RULER、BABILong 和 LongBench，包括短文训练下的长度外推表现和长文续训后的扩长训练表现，同时比较层混合（LH）与头混合（HH）两种方式。

论文首先给出的观察是：混合位置让混合架构具有更好的长文表现。RoPE、滑窗和门控线性注意力都带有显式或隐式的位置偏置，而 NoPE 注意力则不引入位置偏置。NoPE 与上述带位置偏置的注意力的混合，不仅可以增强长文训练的扩长表现，同时也可以实现即插即用的长度外推。

SWA/GLA/GDN-NoPE-LH 的长度外推表现

SWA/GLA/GDN-NoPE-LH 的长文续训表现

不过，不同混合架构仍然存在性能上的差异。短文预训练完成后，SWA-NoPE 混合通常展现出很强的长度外推能力。即使训练上下文长度只有 4k，模型也能在更长上下文上保持较好的表现。

但是，长度外推强，不代表扩长训练强。长文续训完成后，长文表现却发生了反转：SWA-NoPE 的表现被 GLA-NoPE 或 GDN-NoPE 超过，尤其是在层混模型中更加明显。

研究团队将这一现象称为滑窗混合扩长的跷跷板效应。与之对应，线性混合模型虽然在长文续训中的拟合能力更强，但不如滑窗混合模型擅长长度外推。这构成了另一个核心结论：线性混合没有免费午餐效应。

滑窗混合的扩长改进

研究团队进一步观察了长文续训前后的困惑度曲线和参数变化。对于 SWA-NoPE 层混模型，长文续训后短文位置的损失下降非常明显，但长文位置的损失改善有限。模型在训练中更倾向于学习滑窗注意力能够访问的局部信息，没有充分学会利用更远的上下文。

这被称为短上下文学习陷阱：滑窗分支得到了较多的训练优化，但固定窗口限制了它能建模的依赖范围，最终使长文训练过度关注短上下文。

深入观察可以发现，短窗口在短文预训练阶段更有利于长度外推；但在长文续训阶段，短窗口会限制模型学习长上下文依赖。论文将这两种趋势概括为短窗口疲惫与长窗口懒惰。

长文预训练中，SWA-NoPE-LH 的长文表现随窗口大小增加的变化趋势。更大的窗口具有更好的扩长训练表现，体现了短窗口疲惫

短文预训练中，SWA-NoPE-LH 的长文表现随窗口大小增加的变化趋势。更小的窗口具有更好的长度外推表现，体现了长窗口懒惰。

对此，论文通过增大滑窗窗口和结合 LongCE 损失，显著提升 SWA-NoPE/RoPE 层混模型的长文续训表现，在多个规模上接近甚至达到线性混合模型的水平。

SWA-NoPE-LH 的扩长训练改进结果

SWA-RoPE-LH 的扩长训练改进结果

线性混合的外推改进

线性注意力在长文续训中表现出较好的拟合能力，但外推到训练长度之外时，性能不如滑窗混合。研究团队从相对位置信息的角度重新审视了这一问题。GLA 和 GDN 虽然不使用传统 RoPE，但门控本身包含隐式的位置偏置。随着距离增加，状态更新中的门控会不断累积，在训练长度之外也可能出现分布变化。

基于这一猜想，论文提出滑窗线性注意力（Sliding-Window Linear Attention，SWLA）：在推理时对 GLA/GDN 的有效相对位置范围施加滑窗约束，同时对 NoPE 注意力使用对数校正，增强其全局聚合能力。

这套策略限制了带位置偏置的注意力感知的相对位置范围，也增强了无位置偏置模块的全局感知，取得了很好的外推效果，称为混合位置外推的马太效应。实验表明，这套策略可以显著改善 GLA-NoPE、GDN-NoPE 混合的长度外推。在 RULER 的 NIAH-SK1 任务上，模型从 4k 训练长度外推到 64k，达到 16 倍免训练外推，并保持 100% 的准确率。

GLA-NoPE-LH 的长度外推改进结果

GDN-NoPE-LH 的长度外推改进结果

混合位置如何协作

为了理解混合架构为什么有效，论文还分析了不同注意力模块的注意力特征。结果显示，NoPE 注意力更倾向于进行粗粒度的全局聚合，能够在长上下文中保持较高的检索命中率；RoPE、SWA 和线性注意力则更多地利用位置偏置限制噪声、同时更影响长文任务的下游表现。

以 RoPE-NoPE 混合为例，相比 RoPE 全注意力，NoPE 全注意力具有更高的注意力分数命中率和更大的注意力熵，表现出粗粒度但有效的全局聚合。随着混合比例变化，NoPE 与带位置偏置注意力在熵 - 命中率空间中的分布边界也会变化。研究团队将这种协作模式称为混合位置的潮汐效应。

不同混合比例的 RoPE-NoPE-HH 之间的对比

因此，混合架构的关键不只是把多个模块放在同一个模型里，而是让它们形成互补的位置信息结构，最终实现了超越单一注意力的效果。

结语

这项工作围绕两个看似简单的问题展开：混合架构为什么有效，以及怎样设计得更有效？得出了六条结论：

• 结论 1：从混合注意力到混合位置：混合位置，指 NoPE 注意力同其他有位置偏置注意力的混合，在长度外推与长文训练中更加有效。
• 结论 2：滑窗混合扩长的跷跷板效应：滑窗混合（SWA-NoPE）长度外推更好，但扩长训练不如线性混合（LA-NoPE），尤其是在层混模型中。
• 结论 3：线性混合没有免费午餐效应：线性混合（LA-NoPE）扩长训练更好，但长度外推不如滑窗混合（SWA-NoPE）。
• 结论 4：混合位置协同的潮汐效应：混合位置的有效协作，依赖少数 NoPE 注意力实现粗糙聚合，多数带位置偏置注意力限制噪声，可以实现有效合作；两者在熵命中率散点图中的分布边界随比例涨落。
• 结论 5：短窗口疲惫与长窗口懒惰：滑窗混合的长上下文训练存在短上下文学习陷阱，虽然短窗口在短文预训练中利于长度外推，但是长窗口在长文续训中有利于扩长训练。
• 结论 6：混合位置外推的马太效应：混合位置模型中，有位置偏置的注意力通过滑窗限制局部感知，无位置偏置通过对数校正增强聚合，可以获得很好的外推效果。

研究团队从训练推理阶段的长文效果差异和注意力内部行为分析出发，建立了从现象到机制再到改进的分析链条。研究结果表明，混合架构的优势来自不同注意力模块之间的功能互补，而不是某一个模块在所有场景下都更强。

线性注意力适合高效地学习和拟合长上下文，滑窗机制适合在推理时控制相对位置实现长度外推，NoPE 注意力则能够提供更粗糙但有效的全局聚合。把这些能力组织起来，或许正是长上下文混合架构继续发展的方向。

论文聚焦于滑窗注意力和线性注意力等高效注意力与全注意力的混合架构，研究它们在文本预训练阶段的长文表现。未来，研究团队还将进一步探索后训练阶段、多模态训练阶段上述混合架构的表现，以及相同阶段稀疏注意力混合架构和压缩注意力混合架构的表现。