网易首页 > 网易号 > 正文 申请入驻

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%

0
分享至



Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。

这个改动利用了一个区别:为后续生成写下记忆,所需的深层计算可以远少于预测下一个 token。SEED 在五种已训练的混合大模型上测量了这种差别,并把它用于减少预填充计算。

解码侧还有另一处空间。模型每步读写的循环状态,往往包含一个接近固定方向的主分量,剩余内容则具有低秩结构。SEED 将状态保存在这种分解形式下,让模型直接读取和更新它。在 Qwen3.8-Flash-Next 上,单请求循环状态从 113.2MB 降到刚压缩后的 29.2MB,整个压缩周期平均为 43.4MB。

在 GB300 GPU、SGLang 和编码 Agent 会话轨迹上,SEED 使 Qwen3.8-Flash-Next 的每 GPU 峰值吞吐提升 16%~42%;在相同 P90 用户端到端输出速率的比较点,吞吐提升 23%~42%。五种模型、六个检查点的质量评测则检验了这些改动的精度代价。原模型权重全程冻结,新增组件通过蒸馏训练。

论文《Shallow Encoding Emits Deep Memories》已发布 arXiv 预印本。Mingyuan Ma 与 Yangmin Li 共同主导、同等贡献;其余作者为 Harris Nover、Zheyu Fu、Po-Han Huang、Alex Settle 和 Ashwin Nanjappa,作者均来自 NVIDIA。



  • 论文链接:https://arxiv.org/abs/2611.06084v1
  • 项目链接:https://latent-voyager-seed.static.hf.space/index.html

固定大小的状态仍然可能很贵

混合架构用少量 softmax 注意力层保存 KV Cache,再用大量线性注意力或状态空间层维护循环状态。KV Cache 随上下文增长,循环状态大小固定,但后者并不小:Qwen3.8-Flash-Next 每个请求的状态,占用空间相当于约 4500 个 token 的注意力缓存。

这些状态每生成一个 token 就要更新一次,还会与活跃请求、缓存前缀争用显存。SEED 分别处理两个阶段的成本:预填充少做深层计算,解码少存循环状态。两项优化都来自现有模型已经表现出的记忆结构。

前 31 层为何足以写出后 17 层的记忆

预填充中,只有最后一个输入 token 的输出用于预测首个回复 token。其余 token 留给后续生成的结果,是各层写出的 KV Cache 和循环状态。研究者因此单独考察了深层网络的写入路径。

研究者将浅层隐藏状态直接送入后续各层的写入路径,省去其他深层计算,再与同深度的提前退出比较:直接将该隐藏状态送入输出头,预测下一个 token。



表 1 Qwen3.8-Flash-Next 在锚点深度 k=31 处的未训练对比。KL 越小,输出分布越接近原模型。写入路径直接使用原层权重;此处不是蒸馏后的最终结果。来源:论文图 2 (c)。

两个结果相差约 141 倍。浅层特征尚不足以直接预测下一个 token,却已能为深层写出可用的记忆。这就是写入与读取不对称性。



图 1 SEED 的浅层预填充。emitters 从锚点层输出写出后续层的 KV Cache 和循环状态;最后一个输入 token 仍通过完整网络。来源:论文图 1 (a)。

SEED 用 emitters 实现这条路径。注意力层保留 key、value 和必要索引的生成;循环层还保留写入强度、衰减、短卷积和扫描。这些组件从原层参数初始化,通过蒸馏适配浅层输入,省去完整的深层注意力读出和前馈计算。

计入 emitters 后,Qwen3.8-Flash-Next 除最后一个以外的输入 token,参数相关计算量从 12.1GFLOP 降到 9.1GFLOP,减少约 25%。生成时仍走完整网络,各深层记忆也保留。

锚点深度也不能只看平均 loss。GLM-5.3-Flash 在 k=27 时的分布偏差已经很小,但只能复制出原模型 595 个标识符中的 269 个;移到 k=31 后,可复制 530 个。SEED 因此同时用分布偏差和精确复制测试选深度,避免平均指标掩盖检索失败。

状态里能量最多的部分未必携带最多上下文

Qwen3.8-Flash-Next 有 1728 个 Gated DeltaNet 头,每个头维护一个 128×128 状态矩阵。对这些矩阵做 SVD 后,首个奇异分量所占能量的中位数约为 85%,而且主方向在不相关的输入之间仍然接近。

研究者进一步在通用文本上估计每个头的平均 value 方向,将状态沿该固定方向的投影称为 state sink。这个投影的能量占比中位数约为 75%,与 SVD 给出的 85% 是不同的统计量。去掉该方向后,剩余内容仍很紧凑,中位数头只需约 6 个方向就能保留其 90% 的能量。



图 2 原状态、固定方向上的 sink 投影与剩余内容。图中的示例头,sink 占 94% 能量;正文的 85% 和 75% 分别是不同统计量的跨头中位数。能量指矩阵元素平方和。来源:论文图 3 (a–c) 及第 4 节。

高能量本身不足以说明哪些部分值得保留。论文做了替换实验:将每个头的 sink 换成其他输入上的平均 sink,后续预测损失只增加约 0.002 nats/token;但若在每个后续步骤都只保留 sink,损失会增加约 1.66 nats/token。前者是预填充结束时的一次干预,后者是持续干预,二者共同说明剩余工作记忆不能丢。

在归一化后,sink 主要提供偏置和增益,对当前输入有用的内容主要在其余部分。SEED 因此将两者分开保存:固定方向由所有请求共享,每个请求只存 sink 系数和工作记忆的低秩因子。



图 3 状态分解及直接读出。v̄为每个头共享的固定方向;a、U 和 V 属于当前请求。模型用这组因子计算输出,无需为读出重建完整状态矩阵。公式整理自论文第 5.1 节。

以秩 R=16 为例,单头刚压缩后的存储量从 128×128=16384 个数,变为 17×128+16×128=4224 个数。按相同精度计,约为原来的四分之一。近 4 倍的压缩来自表示结构,而非把状态换成更低精度。

能压缩还不够

这组因子必须能持续更新

循环状态每个 token 都要更新。如果每步都重建完整矩阵,再做一次 SVD,存储省下来的成本很可能被计算抵消。SEED 利用原更新规则的结构:每步更新 sink 系数,对已有因子施加衰减,再向两个因子各追加一列,便能表示新的工作记忆。

论文证明,Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新都能保持这种分解形式。两次压缩之间,因子上的更新在数学上精确;低秩截断才引入近似。在 Qwen3.8-Flash-Next 中,R 和压缩周期 W 均为 16,生成 16 个 token 后再将增长的因子压回目标秩。

这也解释了 29.2MB 为何不是恒定占用:追加的列会逐步增加存储量,周期平均为 43.4MB。在五种模型上,状态刚压缩后的压缩比为 2.0~3.9 倍,周期平均为 1.3~2.6 倍。这些数字计算的是循环状态表示,注意力 KV Cache 保持原格式。

误差分析针对开环:压缩递推和精确递推接收相同的 key、value 等输入,且衰减满足收缩条件。此时,误差界不随压缩次数增长。自由生成还会改变后续输入,论文另外跟踪了长解码:在跟踪到 16K 步的模型中,从首个 4K 到最后 4K,压缩次数增至 4 倍,状态引起的分布偏移只增至约 1.2~1.4 倍。

蒸馏后的模型究竟损失了多少能力

SEED 只训练 emitters 和可选的 prompt code,原模型作为冻结教师。训练先用固定文本蒸馏,再在教师与当前组件生成的回复上进行一至两轮训练;Nemotron-3.5-Super 采用第一阶段组件。锚点深度和状态秩使用统一的探测准则选定,不依赖考试分数。

质量测试覆盖 Qwen3.8-Flash-Next、Nemotron-3.5-Lightning、Kimi-Linear、GLM-5.3-Flash 和 Nemotron-3.5-Super,共六个检查点、11 项基准。每道题与原模型配对比较并使用相同采样种子,66 个 “检查点 × 基准” 组合中,63 个分数落在原模型两个标准误范围内或更高。



图 4 六个检查点在 11 项基准上的质量变化。右图单独考察状态压缩造成的困惑度变化,使用精确预填充。结果支持评测表现接近原模型,并不意味着所有输出完全一致。来源:论文图 6。

显存省下来了

系统为何真的能多服务用户

SEED 在 SGLang 上的端到端验证使用 GB300 GPU,回放 InferenceX 记录的编码 Agent 会话。每个并发点运行 900 秒,原模型与 SEED 使用相同硬件,循环状态均以 FP32 存储,测量包含 emitters 和周期压缩开销。下表同时启用浅层预填充与浅层状态。



表 2 Qwen3.8-Flash-Next 的每 GPU 服务吞吐。峰值按各自最高测得吞吐比较;P90 列在论文选定的相同用户端到端输出速率点比较,具体取点见论文第 7 节。TP 为张量并行;1P:1D 由一个预填充实例和一个解码实例组成,每个实例使用两张 GPU。来源:论文表 5。

NVFP4 单 GPU 聚合部署下,原模型峰值约为 8.02 万 token/s/GPU,SEED 约为 9.60 万。bf16 预填充与解码分离部署下,峰值则从约 3.39 万提高到 4.81 万。表中吞吐统计包含输入和输出 token,缓存命中的输入同样计入,不能当作单个用户的生成速度。

在这些 MoE 模型的测试负载下,解码阶段的权重读取仍占较大比重,状态变小主要通过容量改善服务,而不只是少搬运一些状态数据。

SGLang 的混合模型前缀缓存与运行中的请求,共用一个循环状态池。状态池满后,系统逐出缓存前缀;新请求再次用到这段上下文,就得重新预填充。并发越高,状态占用与重算之间的联系越明显。

在 NVFP4 TP1、40 个并发会话的测量点,原模型前缀缓存命中率约为 55%,SEED 约为 85%。较小的状态同时给活跃请求和可复用前缀腾出空间,减少重算;浅层预填充又降低了未命中部分的计算量。

PD 分离部署中,主要瓶颈转到预填充实例。仅启用浅层预填充,峰值吞吐就提升约 35%;仅压缩状态提升约 5%;两者一起启用提升约 42%。不同部署的收益来源由此可以分辨:聚合服务更受状态池容量影响,PD 分离则更依赖预填充计算的下降。

P90 用户端到端输出速率将排队和首 token 等待时间也算在内。相同 P90 条件下比较吞吐,是为了比较相近交互体验下能承接多少负载;23%~42% 对应论文选定的比较点,并非任意速率下的固定增幅。低负载时,两种配置的吞吐差异很小,端到端服务验证目前集中在 Qwen3.8-Flash-Next。

混合模型的记忆可以怎样设计

SwiftKV 和 POP 此前已探索过从浅层特征生成 Transformer 深层 KV Cache。SEED 将问题延伸到混合模型:预填充需要写出深层循环状态,解码需要在压缩表示上继续更新,而且原模型权重保持冻结。

这两项发现分别改变了记忆的计算方式和存储方式。深层网络在生成时仍有作用,但为输入 token 写记忆未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,但实现时可以存储并更新一组较小的因子。模型已具备这些结构,SEED 将它们变成了可以测量的服务收益。

收益也有明确范围。SEED 不压缩注意力 KV Cache,长上下文中若 KV Cache 占据主要显存,状态压缩对总显存的贡献会变小。论文讨论的 prompt code 前缀存储尚属后续方向,没有计入本文的服务吞吐。代码、新增组件和训练数据在论文中列为计划公开的材料。

作者简介

Mingyuan Ma

来自 NVIDIA Compute Architecture/DL Compute 团队,专注于大模型推理的性能建模、推理优化与新一代模型的性能预测。参与 Nemotron 3 Super、Nemotron 3 Ultra,以及 Nemotron 3.5 Lightning、Super 和 Bolt 等项目的推理性能建模与预测,为模型设计与系统优化提供量化依据。

Yangmin Li

来自 NVIDIA Compute Architecture/LLM Inference Performance 团队,专注于大模型推理系统的性能优化,是开源推理引擎 SGLang 的主要贡献者之一。围绕 PD 分离、投机解码、KV Cache 管理和融合 kernel 等方向,提高真实负载下的吞吐并降低交互延迟。参与 DeepSeek、Qwen、Kimi、GLM 等主流开源模型的 Day-0 支持与推理优化,推动这些模型在 NVIDIA 最新 GPU 上开箱即用、高效运行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中美俄意见一致,宁可让日本从地球上消失,也坚决不允许它拥核!

中美俄意见一致,宁可让日本从地球上消失,也坚决不允许它拥核!

兵鉴史
2026-07-21 18:43:52
中方:停止利用台湾问题进行政治操弄

中方:停止利用台湾问题进行政治操弄

环球网资讯
2026-11-19 06:50:07
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
克里米亚大桥刚被炸塌一段,乌军又发动第三次袭击,俄方再次关闭交通

克里米亚大桥刚被炸塌一段,乌军又发动第三次袭击,俄方再次关闭交通

桂系007
2026-11-19 09:50:28
汪峰晒与4个儿女的全家福!他是称职的父亲,但不适合婚姻

汪峰晒与4个儿女的全家福!他是称职的父亲,但不适合婚姻

细品名人
2026-11-19 09:49:04
残阵出征!男篮12人名单敲定,周琦、王哲林、胡金秋三塔打底

残阵出征!男篮12人名单敲定,周琦、王哲林、胡金秋三塔打底

卷史
2026-11-19 04:11:35
上海警方通报:王某,刑拘!10个月发生200多起交通事故,几乎天天撞,绝大部分被认定为无责方,手段太阴了

上海警方通报:王某,刑拘!10个月发生200多起交通事故,几乎天天撞,绝大部分被认定为无责方,手段太阴了

环球网资讯
2026-11-18 10:45:02
跑得起马拉松,买不起照片,这就是跑者的尴尬

跑得起马拉松,买不起照片,这就是跑者的尴尬

跑者排球视角
2026-11-19 09:11:28
克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

世界地缘档案
2026-11-18 10:53:23
统一成定局,台湾富人开始外逃,大陆话中有话,台独注定没有出路

统一成定局,台湾富人开始外逃,大陆话中有话,台独注定没有出路

民生格物
2026-11-19 13:09:11
1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

马俊哲律师
2026-11-19 10:04:27
黄仁勋与英伟达的纠缠:谁想让他走,谁又希望他留下?

黄仁勋与英伟达的纠缠:谁想让他走,谁又希望他留下?

财闻
2026-11-18 16:16:57
卷走53亿逃美,欠银行20亿?又一“大佬”跑路,5000家庭血本无归

卷走53亿逃美,欠银行20亿?又一“大佬”跑路,5000家庭血本无归

阿器谈史
2026-11-18 05:04:17
袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

上游新闻
2026-11-18 18:26:06
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
周总理惦记了二十年的“叛徒”,得知他贫困潦倒后写信劝其回家吧

周总理惦记了二十年的“叛徒”,得知他贫困潦倒后写信劝其回家吧

雍亲王府
2026-11-19 10:15:10
古人有多会玩?动物的器官做工具,让人在快乐中窒息而死

古人有多会玩?动物的器官做工具,让人在快乐中窒息而死

赵枹是个热血青年
2026-11-17 14:56:15
3700美元也破了!现货黄金创去年9月以来新低,国内金饰价格连跌8天,多家品牌回撤超三成丨金银价格

3700美元也破了!现货黄金创去年9月以来新低,国内金饰价格连跌8天,多家品牌回撤超三成丨金银价格

每日经济新闻
2026-11-19 11:50:19
深圳APEC峰会三个核心场馆,你更喜欢哪个?

深圳APEC峰会三个核心场馆,你更喜欢哪个?

良有方
2026-11-19 06:29:36
马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

起点财经
2026-11-18 14:00:14
2026-11-19 14:39:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14513文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
游戏
数码
健康
手机

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版