网易首页 > 网易号 > 正文 申请入驻

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存

0
分享至



视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。

但在编程 Agent 这类多轮、长上下文负载中,混合模型的前缀缓存管理比纯 Transformer 要更加复杂。来自 Together AI、UIUC 与 UT Austin 的研究团队提出 FlashStates,重新设计了混合架构模型的 KV 和状态缓存管理。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高达到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降低 88.4%。接入 512GiB 的 Mooncake CPU 缓存后,收益依然显著,并且已经支持分布式存储与跨节点的混合状态复用。



  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
  • 代码:https://github.com/FutureMLS-Lab/FlashStates
  • 项目主页:https://FlashStates.ai

作者介绍

本文由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成。共同第一作者为 Chenxi Li(Together AI)与 Weili Xu(UIUC),其他作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)与通讯作者 Chenfeng Xu(UT Austin)。

Together AI 于 2022 年 6 月创立,由 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang、苹果前高管 Vipul Ved Prakash 联合创办。FutureMLS(Future Machine Learning & Systems Lab)是由 悉尼大学计算机科学博士周中柱创立的非营利研究实验室,聚焦高效机器学习架构、后训练、训练与推理引擎,以及智能体系统。

混合状态:缺一不可的两件套

纯 Transformer 的 KV 按 token 存储,前缀可以截断到任意位置复用。线性层则用一个固定大小的循环状态概括整个前缀,好处是整个状态不会随着输入 prompt 长度增长,但坏处是单个状态块占用内存大,而且该状态无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

因此,要从位置 p 继续计算,必须同时拥有 1. 完整前缀的注意力 KV,以及 2. 恰好位于 p 的循环检查点(recurrent checkpoint,后文简称为检查点)。论文把两者合称为「混合状态」。

Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就是上一轮请求 decode 输出的终点,而这个位置通常不会落在引擎预设的块边界上。

现有引擎的问题:三类未命中

研究团队用 GLM-5.3-Flash 分别运行 vLLM 和 SGLang,对每个被重算的 prompt token 追溯原因,归纳出三类可避免的缓存未命中场景:放置未命中(检查点没存在需要的位置)、依赖未命中(KV 还在,检查点被驱逐)、容量未命中(缓存确实装不下)。



vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界保存检查点,decode 阶段不保存。低并发(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 则支持细粒度的块边界,如 256 token,该设置相同并发下放置问题基本消失,未命中降到 5% 以下,但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时经常踢掉 KV 仍在的检查点导致依赖未命中

并发继续升高后(32-64),问题开始叠加。vLLM 的 prompt 末端检查点在请求进入解码后就会被放回可驱逐队列,依赖未命中从 40 并发起快速增长,64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中叠加在依赖未命中之上

结论是:检查点间隔大了产生放置未命中,小了产生依赖未命中,并发再高还会叠加容量未命中,单靠调整检查点密度无法解决。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求结束时捕获其精确终点的状态;如果终点落在 KV 块内部,就保留整个末尾块,同时包括全注意力 KV 和循环检查点,将他们进行统一管理。对于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时导出指定位置的状态,输出结果保持不变。KDA 和 GDN 的 kernel 均已适配。

2. 定义优化目标

有了 ASC,混合状态可以存在任意位置,剩下的问题是:显存放不下时,该留哪些?论文用两个位置来刻画一个请求 r 浪费了多少(见下图)。理想恢复点 ℓ(r)(*):这个请求的 prompt 与此前处理过的所有内容最长能对上的地方,只要缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里仍完整保留着混合状态的最近位置。两者之间的 token 只能重新预填充,花费的时间记作 C(ℓ(r)(π), ℓ(r)(*))。

其优化目标是:在有限的 GPU 内存 B 下,让每个请求的实际恢复点 ℓ(r)(π) 尽量接近理想恢复点 ℓ(r)(*),即最小化所有请求重复计算的预填充时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*))。



3. 依赖感知的准入与驱逐。

围绕这一目标,团队基于经典的 GreedyDual-Size(GDS)算法设计了在线策略,每个混合状态的优先级为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。其中恢复代价就是驱逐后相关请求要多付出的预填充时间,由上面的代价模型估算。驱逐的单位是「一个检查点 + 只被它依赖的块」,与其他混合状态共享的前缀不计入释放量。两项单位都是「每块的预填充时间」,可以直接相加,不需要任何随负载调整的超参数。同时,准入也用同一个优先级:显存紧张时,新检查点只有比已缓存中最不值钱的那个更有价值,才会被保留。

GPU 缓存下的实验结果

实验在 B200 上进行,负载为 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:



在三个模型上,FlashStates 的预填充吞吐分别为 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 分别降低 88.4%、77.1% 和 79.0%。



在多种混合架构模型上随并发变化的服务性能

走出 GPU:CPU 缓存与跨引擎复用

生产环境中,推理服务通常会把 GPU 放不下的缓存下沉到 CPU 内存乃至共享存储。那么缓存足够大时,FlashStates 的收益还在吗?论文的回答是:更大的缓存能留住更多数据,但无法提供一个从未被保存的检查点。

团队将 FlashStates 接入 Mooncake 作为 CPU 缓存层,并做了三项工程改造:

  • 请求结束即异步写穿:请求一结束,精确终点的新状态就排队拷贝到 CPU,不必等到 GPU 驱逐时再搬;
  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推广到 GPU + CPU 两级缓存,仍被其他状态依赖的块不会被误删;
  • 传输优化:优化 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试使用 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%
  • 中位未缓存 prompt token 减少 68.7%–81.4%
  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)



512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

更进一步,写入共享存储的状态可以被另一个引擎 worker上的后续轮次复用,条件是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署中「下一轮由另一个预填充引擎接手」打下了基础。

结语

FlashStates 的核心观点是:恢复位置应由「哪里能复用」决定,而不是由「KV 怎么分块」决定。在工程上,它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,并为跨引擎的状态共享做了准备。随着混合架构普及、Agent 上下文持续变长,推理系统中为纯 Transformer 设计的缓存逻辑,需要针对混合状态重新设计。目前,开源推理引擎 SGLang 已接入了 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
29分惊天大逆转!詹姆斯17+10+5+3全队5人上双

29分惊天大逆转!詹姆斯17+10+5+3全队5人上双

有书
2026-11-16 06:15:37
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
痛失冠军后有大动作!成都蓉城清空管理层,明年签中超最佳教练?

痛失冠军后有大动作!成都蓉城清空管理层,明年签中超最佳教练?

体坛鉴春秋
2026-11-16 14:27:20
黄仁勋辞职后现状曝光:和亲友在3800万豪宅狂欢,炸鸡薯条吃到撑

黄仁勋辞职后现状曝光:和亲友在3800万豪宅狂欢,炸鸡薯条吃到撑

小疯子耶
2026-11-15 06:35:23
1927年,周恩来被捕,谁料,负责看押他的人,竟是他的学生,他凑近周恩来,轻声说:“周主任,您放宽心,我定会想法子救您出去。”

1927年,周恩来被捕,谁料,负责看押他的人,竟是他的学生,他凑近周恩来,轻声说:“周主任,您放宽心,我定会想法子救您出去。”

扶苏聊历史
2026-11-16 18:10:55
39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

领略非凡
2026-11-15 15:48:00
赵本山“打假”打到自己头上,“慌啥子嘛,慢慢来”一夜爆火!网友:莫名想哭

赵本山“打假”打到自己头上,“慌啥子嘛,慢慢来”一夜爆火!网友:莫名想哭

极目新闻
2026-11-16 20:55:11
柿子再次被关注!研究发现:糖尿病吃1次柿子,等于给血糖添堵?

柿子再次被关注!研究发现:糖尿病吃1次柿子,等于给血糖添堵?

汪医生健康百科
2026-10-19 22:25:03
瓦利德·哈立德·阿卜杜拉·艾哈迈德(17岁),被羁押期间死亡,巴西最新声明

瓦利德·哈立德·阿卜杜拉·艾哈迈德(17岁),被羁押期间死亡,巴西最新声明

南方都市报
2026-11-14 17:07:58
天崩开局,印度和中国的差距究竟有多大?| 地球知识局

天崩开局,印度和中国的差距究竟有多大?| 地球知识局

地球知识局
2026-11-16 20:35:53
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

兵哥篮球故事
2026-11-16 13:15:13
巴菲特捐赠55亿美元伯克希尔股票,三个子女掌管的基金会均获赠

巴菲特捐赠55亿美元伯克希尔股票,三个子女掌管的基金会均获赠

IT之家
2026-11-16 20:40:12
CBA速递!浙江回应交易余嘉豪,方硕开启第17个赛季,徐杰深夜发声!

CBA速递!浙江回应交易余嘉豪,方硕开启第17个赛季,徐杰深夜发声!

体坛卡卡说
2026-11-16 18:21:53
一万人也劝不住,河南男子入职2月被外派飞东南亚,落地傻眼了

一万人也劝不住,河南男子入职2月被外派飞东南亚,落地傻眼了

天天热点见闻
2026-10-25 06:53:38
11月16日,人社部与财政部有公布2026年调整养老金的文件吗?

11月16日,人社部与财政部有公布2026年调整养老金的文件吗?

小谈食刻美食
2026-11-16 16:35:04
黄金会在12月前跌破700?内行把实底说透,普通人别再盲目抄底

黄金会在12月前跌破700?内行把实底说透,普通人别再盲目抄底

爱看剧的阿峰
2026-11-16 00:43:14
江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

黄河新闻网吕梁
2026-11-16 15:00:42
30幅性感迷人的自然光人像,每一帧都是光与欲的私语

30幅性感迷人的自然光人像,每一帧都是光与欲的私语

国际艺术大观
2026-11-15 21:38:31
长沙卖家挂648万改96G显存RTX5090,只对企业开放还签保密协议

长沙卖家挂648万改96G显存RTX5090,只对企业开放还签保密协议

辉哥说动漫
2026-11-16 05:55:18
2026-11-16 23:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

北大399元羽绒服走红:填充物为鹅绒 校内人员享九折

头条要闻

北大399元羽绒服走红:填充物为鹅绒 校内人员享九折

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

标配激光雷达 极狐阿尔法S5上市 限时11.58万起

态度原创

艺术
教育
本地
家居
健康

艺术要闻

深圳6个在建全球总部,座座是地标!

教育要闻

下面这道题不用勾股定理,你会解答吗?欢迎来挑战

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

情绪真能让健康人"伤心至死"?

无障碍浏览 进入关怀版