网易首页 > 网易号 > 正文 申请入驻

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存

0
分享至



视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。

但在编程 Agent 这类多轮、长上下文负载中,混合模型的前缀缓存管理比纯 Transformer 要更加复杂。来自 Together AI、UIUC 与 UT Austin 的研究团队提出 FlashStates,重新设计了混合架构模型的 KV 和状态缓存管理。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高达到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降低 88.4%。接入 512GiB 的 Mooncake CPU 缓存后,收益依然显著,并且已经支持分布式存储与跨节点的混合状态复用。



  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
  • 代码:https://github.com/FutureMLS-Lab/FlashStates
  • 项目主页:https://FlashStates.ai

作者介绍

本文由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成。共同第一作者为 Chenxi Li(Together AI)与 Weili Xu(UIUC),其他作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)与通讯作者 Chenfeng Xu(UT Austin)。

Together AI 于 2022 年 6 月创立,由 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang、苹果前高管 Vipul Ved Prakash 联合创办。FutureMLS(Future Machine Learning & Systems Lab)是由 悉尼大学计算机科学博士周中柱创立的非营利研究实验室,聚焦高效机器学习架构、后训练、训练与推理引擎,以及智能体系统。

混合状态:缺一不可的两件套

纯 Transformer 的 KV 按 token 存储,前缀可以截断到任意位置复用。线性层则用一个固定大小的循环状态概括整个前缀,好处是整个状态不会随着输入 prompt 长度增长,但坏处是单个状态块占用内存大,而且该状态无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

因此,要从位置 p 继续计算,必须同时拥有 1. 完整前缀的注意力 KV,以及 2. 恰好位于 p 的循环检查点(recurrent checkpoint,后文简称为检查点)。论文把两者合称为「混合状态」。

Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就是上一轮请求 decode 输出的终点,而这个位置通常不会落在引擎预设的块边界上。

现有引擎的问题:三类未命中

研究团队用 GLM-5.3-Flash 分别运行 vLLM 和 SGLang,对每个被重算的 prompt token 追溯原因,归纳出三类可避免的缓存未命中场景:放置未命中(检查点没存在需要的位置)、依赖未命中(KV 还在,检查点被驱逐)、容量未命中(缓存确实装不下)。



vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界保存检查点,decode 阶段不保存。低并发(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 则支持细粒度的块边界,如 256 token,该设置相同并发下放置问题基本消失,未命中降到 5% 以下,但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时经常踢掉 KV 仍在的检查点导致依赖未命中

并发继续升高后(32-64),问题开始叠加。vLLM 的 prompt 末端检查点在请求进入解码后就会被放回可驱逐队列,依赖未命中从 40 并发起快速增长,64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中叠加在依赖未命中之上

结论是:检查点间隔大了产生放置未命中,小了产生依赖未命中,并发再高还会叠加容量未命中,单靠调整检查点密度无法解决。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求结束时捕获其精确终点的状态;如果终点落在 KV 块内部,就保留整个末尾块,同时包括全注意力 KV 和循环检查点,将他们进行统一管理。对于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时导出指定位置的状态,输出结果保持不变。KDA 和 GDN 的 kernel 均已适配。

2. 定义优化目标

有了 ASC,混合状态可以存在任意位置,剩下的问题是:显存放不下时,该留哪些?论文用两个位置来刻画一个请求 r 浪费了多少(见下图)。理想恢复点 ℓ(r)(*):这个请求的 prompt 与此前处理过的所有内容最长能对上的地方,只要缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里仍完整保留着混合状态的最近位置。两者之间的 token 只能重新预填充,花费的时间记作 C(ℓ(r)(π), ℓ(r)(*))。

其优化目标是:在有限的 GPU 内存 B 下,让每个请求的实际恢复点 ℓ(r)(π) 尽量接近理想恢复点 ℓ(r)(*),即最小化所有请求重复计算的预填充时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*))。



3. 依赖感知的准入与驱逐。

围绕这一目标,团队基于经典的 GreedyDual-Size(GDS)算法设计了在线策略,每个混合状态的优先级为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。其中恢复代价就是驱逐后相关请求要多付出的预填充时间,由上面的代价模型估算。驱逐的单位是「一个检查点 + 只被它依赖的块」,与其他混合状态共享的前缀不计入释放量。两项单位都是「每块的预填充时间」,可以直接相加,不需要任何随负载调整的超参数。同时,准入也用同一个优先级:显存紧张时,新检查点只有比已缓存中最不值钱的那个更有价值,才会被保留。

GPU 缓存下的实验结果

实验在 B200 上进行,负载为 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:



在三个模型上,FlashStates 的预填充吞吐分别为 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 分别降低 88.4%、77.1% 和 79.0%。



在多种混合架构模型上随并发变化的服务性能

走出 GPU:CPU 缓存与跨引擎复用

生产环境中,推理服务通常会把 GPU 放不下的缓存下沉到 CPU 内存乃至共享存储。那么缓存足够大时,FlashStates 的收益还在吗?论文的回答是:更大的缓存能留住更多数据,但无法提供一个从未被保存的检查点。

团队将 FlashStates 接入 Mooncake 作为 CPU 缓存层,并做了三项工程改造:

  • 请求结束即异步写穿:请求一结束,精确终点的新状态就排队拷贝到 CPU,不必等到 GPU 驱逐时再搬;
  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推广到 GPU + CPU 两级缓存,仍被其他状态依赖的块不会被误删;
  • 传输优化:优化 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试使用 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%
  • 中位未缓存 prompt token 减少 68.7%–81.4%
  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)



512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

更进一步,写入共享存储的状态可以被另一个引擎 worker上的后续轮次复用,条件是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署中「下一轮由另一个预填充引擎接手」打下了基础。

结语

FlashStates 的核心观点是:恢复位置应由「哪里能复用」决定,而不是由「KV 怎么分块」决定。在工程上,它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,并为跨引擎的状态共享做了准备。随着混合架构普及、Agent 上下文持续变长,推理系统中为纯 Transformer 设计的缓存逻辑,需要针对混合状态重新设计。目前,开源推理引擎 SGLang 已接入了 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

磊子讲史
2026-11-10 15:53:31
五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

谈史论今1
2026-11-13 20:52:38
今明两天北京部分地区雨雪再至!预计时段——

今明两天北京部分地区雨雪再至!预计时段——

BRTV新闻
2026-11-16 12:47:15
从月销2万台跌至不足2000台,理想i6经历了什么?

从月销2万台跌至不足2000台,理想i6经历了什么?

座驾参谋
2026-11-16 16:45:23
52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

一盅情怀
2026-11-04 11:01:37
突然暴跌!超33万人爆仓

突然暴跌!超33万人爆仓

上观新闻
2026-11-16 09:01:22
汤姆·哈迪《毒液3》上线100天,票房虽降仍霸榜

汤姆·哈迪《毒液3》上线100天,票房虽降仍霸榜

时光慢旅人
2026-11-15 01:56:42
WTA 年终总决赛结束!年终排名确定,郑钦文再次登顶中国首位

WTA 年终总决赛结束!年终排名确定,郑钦文再次登顶中国首位

月影依风d
2026-11-16 07:56:10
越来越多人慢慢退出自驾游,不少车主说出3大原因,大家别再犯傻

越来越多人慢慢退出自驾游,不少车主说出3大原因,大家别再犯傻

趣味萌宠的日常
2026-10-31 08:30:53
到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

好爸育儿
2026-11-13 08:33:19
主角被团灭的6部剧,部部扎心,只剩下剧名了

主角被团灭的6部剧,部部扎心,只剩下剧名了

小Q侃电影
2026-11-16 21:55:11
马斯克对英伟达发出警告:若没有黄仁勋,握手交易将不复存在

马斯克对英伟达发出警告:若没有黄仁勋,握手交易将不复存在

忧郁天空
2026-11-15 20:31:10
山姆、盒马、永辉都在降!价格跌到近10年最低 | 早安 珠海

山姆、盒马、永辉都在降!价格跌到近10年最低 | 早安 珠海

珠海发布
2026-11-16 07:39:07
上海市群众身边不正之风和腐败问题集中整治工作推进会举行

上海市群众身边不正之风和腐败问题集中整治工作推进会举行

澎湃新闻
2026-11-16 21:10:29
北京市消协比较试验80款冲锋衣:洗涤后防水耐久表现分化,选购需关注压胶工艺

北京市消协比较试验80款冲锋衣:洗涤后防水耐久表现分化,选购需关注压胶工艺

北京商报
2026-11-16 11:04:05
马克龙夫妇私下聊天曝光,总统自感仍是孩子,希望73岁爱妻只照顾自己

马克龙夫妇私下聊天曝光,总统自感仍是孩子,希望73岁爱妻只照顾自己

译言
2026-11-16 09:45:49
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
《谷雨》桃姐被抓,严平安身亡,内鬼就在欧阳旭身边

《谷雨》桃姐被抓,严平安身亡,内鬼就在欧阳旭身边

天玑影视说
2026-11-16 12:02:40
从开局两连败到12连胜,马刺是本赛季争冠的最大热门吗?

从开局两连败到12连胜,马刺是本赛季争冠的最大热门吗?

篮球星播客
2026-11-16 22:34:18
最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

兵哥篮球故事
2026-11-16 13:15:13
2026-11-16 23:08:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
房产
手机
数码
旅游

自骂“烂人”的黄仁勋,冤不冤?

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

无障碍浏览 进入关怀版