滑动窗口注意力，赢了线性注意力？

一篇 2026 年 8 月发布的 arXiv 预印本提出了一个不太符合当前研究潮流的结论：在长上下文推理任务上，带 attention sinks 的滑动窗口注意力（Sliding Window Attention，SWA）可能比近期大量投入后训练算力打造的线性注意力方案更强，差距甚至达到 2 至 10 倍。

论文由 Alexia Jolicoeur-Martineau、Rhea Sanjay Sukthanker、Pashmina Cameron 和 Emy Gervais 撰写，预印本编号为 arXiv:2608.28444。作者重点比较了 Needle-in-a-Haystack 和 BABILong 两类任务，并在摘要中直接写道：SWA 的表现“massively higher”，即显著高于线性注意力变体。

这不是一次普通的注意力机制横评。它真正挑战的是一个默认前提：如果标准注意力的二次复杂度在长上下文场景中太昂贵，那么下一步自然应该是把注意力改造成线性复杂度。论文作者认为，过去这条路线可能忽略了一个更朴素、也更重要的对照组——只看最近一段上下文，再保留少量特殊的全局信息。

先说结论：简单方案可能已经够用

滑动窗口注意力是只让每个 token 关注固定长度局部窗口的注意力机制，它把全序列两两交互限制在最近的若干 token 内，从而避免标准全注意力随序列长度平方增长。

在标准全注意力中，长度为 n 的序列会形成一个 n×n 的注意力矩阵。上下文从 8K 增加到 128K，理论上的注意力计算规模不是增加 16 倍，而是增加 256 倍。即使现代 GPU 能够通过 FlashAttention 等内核优化降低显存读写，计算量和 KV cache 压力仍然会随上下文变长迅速上升。

SWA 的做法更直接：假设窗口大小为 w，每个位置只和附近 w 个 token 交互，那么注意力计算大致从 O(n²) 变成 O(nw)。只要 w 远小于 n，长文本推理的成本就会明显下降。它不试图让每个 token 看到整个历史，而是承认一个事实：很多语言建模和逐步推理过程，本来就主要依赖最近的局部状态。

线性注意力是通过重新排列或近似注意力计算，把序列长度 n 从二次复杂度中拿掉的注意力机制。它通常将注意力表示成可递归累积的状态，使计算复杂度接近 O(n)，但代价是不能完整保留标准 softmax 注意力中的任意 token-to-token 关系。

这两种方法的核心差异，不只是“一个是窗口、一个是线性”。SWA 牺牲了远距离直接访问，但保留了窗口内的精确注意力；线性注意力则试图把历史压缩到一个固定大小的状态中，理论上可以扫描全部上下文，却可能丢失某些离散、精确、需要回看的信息。

attention sinks：窗口外并非全部丢掉

Attention sinks 是少量能够持续吸收注意力权重的特殊 token，它们相当于流式注意力中的稳定锚点，用来避免上下文截断后注意力分布失稳。

在长序列推理里，模型并不总是需要访问所有历史 token，但它往往需要一个稳定的“全局背景”。如果简单地把窗口外的 token 全部删除，模型可能会突然失去位置连续性、格式状态或某些长期统计信息。Sinks 的作用不是保存完整历史，而是留下几个可持续访问的固定位置，让注意力机制有一个不会消失的参照物。

可以把它类比成读一本很长的技术文档：SWA 只保留当前页附近的段落，attention sinks 则像书签、章节标题和文档元信息。它们不能替代全文检索，但能防止模型在翻页后连“自己正在读哪本书”都忘掉。

论文讨论的方案之所以受到关注，正是因为它不是一个需要复杂训练流程的新架构，而是把滑动窗口和 sinks 组合起来，用较少的机制改动解决长上下文运行问题。根据参考资料，作者认为，这套方案无需专门的后训练，运行速度快，并且内存占用较低。

为什么在推理任务上差距会被放大？

长上下文推理不是单纯的“把更多文字塞进上下文”。模型需要在大量干扰信息中定位线索、保留中间状态，并将分散在不同位置的信息重新组合。注意力机制是否能精准回看，往往比平均语言建模损失更关键。

Needle-in-a-Haystack 是一种长上下文检索测试，它把一条关键信息埋在大量无关文本中，再要求模型找出这条信息。这个任务看起来简单，却非常适合暴露模型的“看过但找不到”问题：模型可能接受了全部上下文，却无法在生成答案时重新定位那根针。

BABILong 则更接近多跳推理场景。它将多个事实、关系和规则分散在较长文本中，模型需要把它们串起来才能得到答案。与单点检索相比，这类任务更考验模型能否维护推理链，以及是否会被中间的大量无关内容干扰。

在这类任务中，线性注意力的固定状态可能成为瓶颈。它虽然理论上扫描了整个序列，但“扫描过”不等于“保留了可精确读取的全部信息”。如果多个事实被压缩到同一个状态里，后续推理需要区分某个具体实体、数字或关系时，信息碰撞就可能发生。

SWA 的优势则相反：它保留了局部范围内的高保真 token 交互。如果任务中的关键事实会通过中间推理步骤逐渐传递到当前位置，那么只要窗口足够覆盖当前推理链，模型就不必直接访问很久以前的原文。换句话说，SWA 把“全局检索”转化成了“局部传播”。

这也解释了为什么论文报告的差距可能不是几个百分点，而是 2 至 10 倍。在线性注意力已经频繁答错的任务上，SWA 只要成功维持局部链路，就可能从接近随机或低分状态跃迁到较高正确率。不过，这个数字应理解为特定基准、特定模型和特定设置下的相对结果，而不是所有长上下文任务的普遍性能提升。

与线性注意力路线相比，SWA 到底赢在哪里？

下表概括了两种路线在当前讨论中的主要差别。由于参考预印本提供的公开摘要重点报告了相对性能，而未在参考材料中给出完整的统一硬件、窗口大小和所有模型配置，表中不对未披露的绝对延迟作推断。

| 对比维度 | 带 sinks 的滑动窗口注意力 | 线性注意力变体 | |---|---|---| | 核心机制 | 只计算固定窗口内的精确注意力，并保留少量全局锚点 | 将注意力重写或近似为可递归累积的固定状态 | | 长度方向复杂度 | 约为 O(nw)，w 为窗口大小 | 通常接近 O(n)，具体取决于特征映射与实现 | | 远距离信息 | 不能直接访问全部历史，依赖局部传播和 sinks | 理论上扫描全部历史，但历史被压缩到状态中 | | 是否需要专门后训练 | 论文主张不需要 | 相关研究路线通常包含架构适配、蒸馏或后训练 | | KV/状态内存 | 窗口大小基本决定主要缓存规模 | 通常保存固定大小的递归状态，内存更稳定 | | 长上下文检索 | 保留局部精确匹配，跨窗口检索能力有限 | 具备全序列扫描形式，但可能损失离散信息 | | 参考预印本中的长上下文推理结果 | 在 Needle-in-a-Haystack、BABILong 上高于线性变体 2 至 10 倍 | 在上述任务中明显落后于 SWA | | 工程改造成本 | 更接近现有 Transformer 注意力实现 | 需要适配新的注意力形式、训练策略和状态管理 |

从工程角度看，SWA 的最大吸引力不是复杂度公式，而是兼容性。大多数现有 Transformer 推理栈已经支持某种形式的局部注意力、KV cache 和 FlashAttention。开发者可能只需要调整 mask、窗口和缓存策略，就能把方案接入现有模型；而线性注意力往往需要从训练阶段开始适配，否则模型并不会自动学会如何使用新的状态表示。

这正是论文对“post-training-to-linear pipeline”的质疑所在。后训练到线性注意力的路线通常意味着：先拥有一个标准注意力模型，再通过蒸馏、继续训练或其他后训练方法，让它适应新的计算结构。这个过程消耗大量算力，也可能改变模型原本的能力分布。

如果一个无需后训练的局部注意力基线，在关键推理任务上就能取得更好结果，那么此前投入在线性化方案上的部分成本，可能并没有换来真实的任务收益。作者因此认为，这一研究方向过去没有和足够强的简单基线进行公平比较。

但这不是“线性注意力已被证明无用”

把这篇工作解读为“滑动窗口注意力全面击败线性注意力”，仍然过于武断。论文目前是一篇预印本，参考材料集中展示的是两个长上下文推理基准，而不是完整的模型家族、任务类型和生产工作负载。

第一，窗口大小会直接影响结论。如果窗口设置得太小，模型难以维持长推理链；如果窗口设置得很大，计算和缓存成本又会上升。一个在 32K 上有效的窗口，不一定适合 1M 上下文。真正有价值的比较，需要同时报告窗口大小、序列长度、吞吐、首 token 延迟、每 token 延迟和显存占用。

第二，BABILong 和 Needle-in-a-Haystack 主要衡量检索与组合推理，不等价于所有长上下文能力。代码库理解、长文档总结、跨章节写作、长对话一致性和视频文本对齐，可能需要不同程度的全局访问。SWA 在局部传播路径清晰的任务上很有优势，但遇到需要反复跳转到相距很远的多个位置时，可能仍然吃亏。

第三，线性注意力的表现高度依赖具体变体。不同的核函数、状态更新方式、位置编码、训练目标和后训练策略，都会改变最终效果。用某几种线性注意力变体代表整个研究方向，和用一个较弱的 Transformer 代表标准注意力一样，都可能造成结论偏差。

第四，推理速度不能只看理论复杂度。SWA 的窗口计算具有成熟的 GPU kernel 支持，但窗口边界、批处理、连续批处理和 KV cache 管理都会影响实际吞吐。线性注意力虽然理论上是 O(n)，却可能需要额外的特征映射和状态更新；如果这些操作没有得到硬件充分优化，理论优势未必能直接转化为端到端速度。

因此，更准确的结论是：在当前预印本覆盖的长上下文推理任务上，带 sinks 的 SWA 是一个被低估的强基线，而且它的性价比可能高于部分复杂的线性注意力方案。

对模型开发者意味着什么？

对模型架构研究者而言，最直接的启示是：在提出新的线性注意力或状态空间结构时，必须把带 sinks 的 SWA 纳入主实验，而不是只和标准全注意力比较。

一个合格的实验至少应回答四个问题：

1. 在相同基础模型规模、训练 token 数和推理预算下，线性注意力是否真的优于 SWA？
2. 在 Needle-in-a-Haystack、BABILong 之外，代码、长文档和多跳问答任务上结论是否保持？
3. 当上下文从 32K、128K 扩展到 1M 时，准确率、吞吐和显存如何变化？
4. 线性注意力的后训练成本，是否足以抵消它在理论复杂度上的优势？

对模型部署团队而言，SWA 更像是一种低风险优化路径。它不要求立刻更换整个模型架构，也不需要重新训练一套全新的语言模型。对于在线客服、代码补全、Agent 轨迹压缩和长文档问答等场景，可以先通过窗口化 KV cache、保留 sinks、调整历史裁剪策略进行 A/B 测试。

但部署时也不能把窗口简单设成一个固定数字。例如，代码 Agent 的有效依赖可能跨越多个函数；法律文档问答的答案可能需要同时引用开头的定义和结尾的例外条款。更稳妥的做法是把 SWA 和外部检索、摘要记忆、结构化状态结合起来：窗口负责高保真局部推理，检索负责跨段落找回原文，摘要或状态负责维护任务级全局信息。

对普通开发者来说，这篇论文最实际的价值是提醒大家不要被“线性复杂度”四个字直接说服。复杂度是上限分析，不是任务准确率。一个能在线性时间内处理全部历史、却无法找回关键事实的模型，在真实应用中未必比只看局部窗口的模型更有用。

行业真正需要的不是二选一

长期来看，滑动窗口注意力和线性注意力未必是非此即彼的竞争关系。更可能出现的方向是分层混合架构：大多数层采用局部窗口，少数层保留全局注意力；窗口内部使用精确 softmax，窗口之间通过压缩 token、记忆 token、检索模块或递归状态传递信息。

这种设计类似计算机系统里的多级缓存。L1 缓存保存最近、最常用的数据，容量小但访问快；更远的数据放在更慢的层级中，需要时再调取。SWA 可以承担“高带宽局部缓存”，线性状态或外部记忆则承担“低带宽全局摘要”。真正的工程目标不是让每一种信息都以同一种方式保存，而是让不同距离、不同重要性的上下文使用不同成本的通道。

这篇预印本最值得关注的地方，也许不是它给出了最终答案，而是它把一个被行业忽略的问题重新摆到台面上：当研究者为了解决二次复杂度投入越来越多训练和工程资源时，是否认真测过更简单的局部注意力基线？

截至 2026 年 8 月 31 日，公开信息还不足以证明带 sinks 的 SWA 会取代线性注意力，更不能据此宣称所有长上下文模型都应该回到滑动窗口。但在长上下文推理这个具体问题上，信号已经足够清晰：简单的局部精确注意力并没有过时，甚至可能是许多线性化方案首先应该击败、却尚未真正击败的对手。

对于接下来准备做长上下文模型、推理加速或 KV cache 优化的团队，建议把实验顺序倒过来：先建立标准全注意力和带 sinks 的 SWA 基线，再评估线性注意力能否在相同预算下带来可复现的准确率或成本优势。若连这个基线都赢不了，复杂架构的理论优雅就很难转化成产品价值。

参考来源

• Reddit：Sliding-window attention beats linear on long-context reasoning：讨论该预印本的社区帖子，包含论文核心结论与作者观点摘要。
• arXiv 预印本《Sliding Window Attention with sinks, one of the simplest existing fixes for the quadratic-cost problem in LLMs》：论文编号为 arXiv:2608.28444，作者为 Alexia Jolicoeur-Martineau、Rhea Sanjay Sukthanker、Pashmina Cameron 和 Emy Gervais。由于本文参考链接限定为国内可访问域名，未在正文附出 arXiv 外链。