网易首页 > 网易号 > 正文 申请入驻

千万token下,比DeepSeek式稀疏注意力再快22倍

0
分享至

编辑|Panda


如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query不再看遍所有历史 token,只挑出少数最相关的去「看」。

这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。

问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是「找到那一小部分」依然会随上下文长度二次方增长。

现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。



它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速22.7倍,把 Qwen3.8-27B 的提速72.4倍,同时在一系列任务上保持了与原模型相近的精度。



  • 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
  • 论文地址:https://arxiv.org/abs/2610.42147
  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention

稀疏注意力的「隐形账单」

先回顾一下注意力的成本结构。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。

稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。

这个思路成立有个前提:模型确实只需要很少的 key。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。

但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill 依然是二次方。

打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。



超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

不按时间排,按语义排

LSA 的解法,是让索引器不再逐个检查 key,而是去检查「key 的分组」。



D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。

关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。

LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。

回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。

这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了O(T log T),这也是论文标题中「次二次方」(subquadratic)的由来。



D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。

两种用法:嫁接进已有模型,或者从头长出来

LSA 提供了两种落地方式。

第一种是D-LSA(Distilled-LSA),面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。

第二种是N-LSA(Native-LSA),在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。



N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。

工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。

1000 万 token 下的成绩单

先看精度。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。

在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。

为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准PaperTrail。

它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。



D-LSA 在知识、推理与长上下文任务(最长 10M token)上的精度,与全注意力及稀疏注意力基线相当。

再看速度,这也是这项工作最醒目的部分。在 10M token 下,单个注意力层的 prefill,D-LSA 比 GLM-5.3-Flash 原生稀疏注意力快22.7 倍,比 Qwen3.8-27B 的全注意力快72.4 倍;decode 阶段分别快4.6 倍和42.5 倍。这个加速比随上下文增长而扩大,在 1M token 时,对 GLM-5.3-Flash 的 prefill 加速为 3.5 倍,512k 时只有 2.1 倍,因为上下文较短时逐块扫描本来就不贵。按趋势外推,Tree 变体在 1 亿 token 时预计比基线稀疏注意力快 90 倍以上。

单层加速传导到整个模型时会被稀释,因为模型中还有大量不受影响的其他层。在 SGLang 的实际部署中,10M token 下 D-LSA 让 GLM-5.3-Flash 的首 token 时间(TTFT)缩短 2.2 倍(上下文并行),从约 7.5 分钟降到约 3.4 分钟;让 Qwen3.8-27B 的首 token 时间缩短 9.2 倍,从约 76 分钟降到约 8 分钟。

索引本身的显存占用也更小。在 10M token 下,D-LSA 每层索引占 246 MiB,GLM-5.3-Flash 原生方案为 331 MiB,Qwen 风格的块稀疏方案为 642 MiB。



D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推至 100M token 的 prefill 耗时。

N-LSA 的实验规模要小得多。团队从头训练了一个约 5 亿参数的混合模型,24 层中每 4 层有 1 层是注意力层,其余为 Gated DeltaNet 线性注意力层,在 128k token 的上下文下进行退火训练。结果显示,N-LSA 的验证损失与全注意力完全持平(均为 1.085),而同等稀疏预算下的 PISA、NSA 和滑动窗口注意力分别为 1.100、1.117 和 1.154。在 128k 的 RULER 上,N-LSA 得分 32.2,全注意力为 34.7,NSA 和 PISA 则跌到 19.2 和 14.6。训练速度方面,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 实现的全注意力快 1.6 倍。



N-LSA 训练加速。左:单个注意力层前向加反向的加速比;右:退火阶段整个模型的验证损失随训练时间的变化。

结语

过去几年,长上下文的竞争主线是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,行业已经基本证明了只看不到 1% 的 token 也能维持精度。LSA 指出的是下一个瓶颈:当「看」变得便宜,「找」就成了大头。

把注意力层改造成一个带层次索引的检索系统,这个方向并不新,Reformer、Routing Transformer 等早期工作都尝试过按内容组织 key,但此前鲜有方法在 1M 以上的规模上同时验证过精度和速度。随着 Agent 开始承担持续数天的科研、编程等长程任务,上下文窗口还会继续变长,届时决定成本曲线的,或许正是索引器的复杂度。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3-2绝杀巴西!森保一喊出口号:未来的世界杯,日本是世界第一!

3-2绝杀巴西!森保一喊出口号:未来的世界杯,日本是世界第一!

何氽简史
2026-11-16 21:10:35
北京国安VS上海海港,比赛时间+门票价格出炉,谁能进足协杯决赛

北京国安VS上海海港,比赛时间+门票价格出炉,谁能进足协杯决赛

体育大学僧
2026-11-17 13:39:04
神回复:这可能这不是你喜欢的,但一定是你爸喜欢的

神回复:这可能这不是你喜欢的,但一定是你爸喜欢的

另子维爱读史
2026-11-10 23:27:04
他长得帅有演技,不顾一切娶大15岁妻子,夫妻恩爱至今未生育

他长得帅有演技,不顾一切娶大15岁妻子,夫妻恩爱至今未生育

原梦叁生
2026-11-17 10:42:42
这几个月跌得太崩溃了,所有人都在亏钱的!

这几个月跌得太崩溃了,所有人都在亏钱的!

清流财记
2026-11-17 15:52:37
电视剧收视率排行榜,《谷雨》跌出前三,第一收视高达1.695%

电视剧收视率排行榜,《谷雨》跌出前三,第一收视高达1.695%

圆头讲电影
2026-11-17 10:42:06
外卖员完成配送后翻业主家门口柜子,拿出女鞋查看;物业:他在两个单元有类似行为,已报案

外卖员完成配送后翻业主家门口柜子,拿出女鞋查看;物业:他在两个单元有类似行为,已报案

大风新闻
2026-11-17 11:11:02
火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

军迷战情室
2026-11-15 23:26:53
今晚8点国足硬碰巴林!邵佳一或对首发11人动3处调整,徐彬大概率落选,CCTV5全程直播

今晚8点国足硬碰巴林!邵佳一或对首发11人动3处调整,徐彬大概率落选,CCTV5全程直播

国足未赢够
2026-11-17 14:17:05
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
运动果然强!体育生身体素质有多夸张?网友:年轻时不知道什么是累

运动果然强!体育生身体素质有多夸张?网友:年轻时不知道什么是累

再战五百回合
2026-11-01 12:56:44
龙赛罗怒批若热-热苏斯:他最好闭嘴,永远不要再提C罗

龙赛罗怒批若热-热苏斯:他最好闭嘴,永远不要再提C罗

懂球帝
2026-11-17 02:40:07
普陀山偶遇杨颖一家,弟弟扎小辫留胡子太“潦草”,状态也太松弛

普陀山偶遇杨颖一家,弟弟扎小辫留胡子太“潦草”,状态也太松弛

情感大头说说
2026-11-17 11:29:34
2009年,西安女学霸毛苒替黑人男友运毒被判死刑,审讯时死活不供他,行刑前24小时录像里只对父母说对不起

2009年,西安女学霸毛苒替黑人男友运毒被判死刑,审讯时死活不供他,行刑前24小时录像里只对父母说对不起

唠叨说历史
2026-11-17 10:14:48
山东退休人员 11 月连收两笔养老金,那 1700 元取暖补贴是另一笔

山东退休人员 11 月连收两笔养老金,那 1700 元取暖补贴是另一笔

白昼说故事
2026-11-17 10:04:04
汽车圈新瓜!网传东风日产内部聊天记录流出,NX7预售预估订单可达2万+,高管决定暂不公布订单战报

汽车圈新瓜!网传东风日产内部聊天记录流出,NX7预售预估订单可达2万+,高管决定暂不公布订单战报

火山詩话
2026-11-16 04:19:31
西班牙专家曾一语道破中日冲突的根本:他说中日冲突反复爆发,不是因为日本不知道自己打不过中国,而是因为二战有几笔账根本没有算清

西班牙专家曾一语道破中日冲突的根本:他说中日冲突反复爆发,不是因为日本不知道自己打不过中国,而是因为二战有几笔账根本没有算清

扶苏聊历史
2026-11-16 17:41:51
欧国联的“输球福利”!6战皆负积0分仍可出线,球迷:净胜球优势

欧国联的“输球福利”!6战皆负积0分仍可出线,球迷:净胜球优势

汪星人哟
2026-11-17 08:16:25
黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

财经要参
2026-11-16 12:00:05
库里因伤缺阵勇士惨遭三连败排名继续下滑!去年夏天两年顶薪签下巴特勒冲击总冠军却遭遇十字韧带撕裂重伤归期未定,勇士豪赌基本失败

库里因伤缺阵勇士惨遭三连败排名继续下滑!去年夏天两年顶薪签下巴特勒冲击总冠军却遭遇十字韧带撕裂重伤归期未定,勇士豪赌基本失败

月下小生2018
2026-11-17 16:07:32
2026-11-17 16:56:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14495文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

艺术
时尚
本地
数码
健康

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

别等了!锐龙处理器历史最低价已杀疯,抄底选购吧

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版