刚刚，小米罗福莉发表新论文：MiMo V3模型采用新架构，推理预填充算力砍到1/5。

小米发布MiMo V2.6系列大模型不到48小时，罗福莉刚刚官宣新的MiMo V3技术信息。

9月23日消息，就在刚刚，小米 MiMo大模型团队负责人罗福莉在X上发布了推文，宣布即将发布的MiMo-V3，将采用全新架构，而核心 HySparse2今天发布。

新架构核心 HySparse2 采用更少的预填充、更小的 KV Cache 缓存、更出色的长上下文检索。

罗福莉称，与 MiMo-V2.6 的 Hybrid SWA 架构相比，HySparse2新架构的MiMo V3：

• 在1百万tokens时，预填充 FLOPs 降低 5.02 倍，也就是推理预填充算力直接砍到了1/5

• 在 1M tokens时，KV 缓存缩小 4.5 倍

• 更高的 MRCRv2 和 RULER-v2 分数，外加更低的 AgentPPL 和 LongPPL。

关于V3模型为什么构建全新架构，罗福莉进一步解释称，Agentic推理是一种截然不同的工作负载。每轮中，简短的动作可能返回需要预填充的长观察结果，同时上下文持续增长。这使得预填充成本、KV 缓存大小和检索准确性同时成为关键路径。

就在五小时之前，这篇论文也在Arxiv上发表了。

智能纪元AGI充分阅读了这篇论文，很多细节值得关注和思考，可以理解为，罗福莉团队把Agent推理算力充分整合和运用，利用HySparse2给新模型做了一次“半模型 prefill（预填充）”算力手术，不仅降低算力成本，还提高了模型调用效率。

有趣的是，就在数小时前，终于公布了罗福莉“老东家”DeepSeek最新论文，梁文锋署名， 剑指大规模Agent训练。

MiMo追逐：

低成本、全模态、全面开源

这三个点是小米MiMo大模型团队追逐和最新模型状态的展示。

9月22日，小米 MiMo 团队发布并开源 MiMo-V2.6 系列，包括旗舰模型 MiMo-V2.6-Pro 和侧重效率与成本的 MiMo-V2.6-Flash。

与此同时，小米还推出了面向低延迟场景的 MiMo-V2.6-Pro-UltraSpeed，官方称其在保持相同模型质量的情况下，输出速度最高可达到标准 Pro 版本的 20 倍。

据小米官方资料，MiMo-V2.6 Pro是全球开源领域唯一的全模态Pro模型——能够同时处理文本、图片、视频和音频四种模态。在多个权威评测榜单中，Pro版在多项任务上达到或超越OpenAI、Google和Anthropic的同代模型水平。

更关键的是参数效率。训练报告显示，MiMo-V2.6在参数量与前代不变的前提下，实现了智能水平的代际跃升。也就是说，同样的“体量”，能力翻倍。

根据小米公布的测试结果，MiMo-V2.6-Pro 在 DeepSWE v1.1 上取得 71.9 分，明显比上一代 MiMo-V2.5-Pro 的 19 分；Flash 为 67.9 分。

其他基准测试结果我就不读了。

如果从实际应用角度看，MiMo-V2.6 在所有项目上都表现出色。

我也购买了小米MiMo桌面版的月费，大体上用了几轮，在电脑关合、网络时断时续下也能成功执行任务，最终效果还不错。

更重要的是消耗，说明Flash模型非常省钱。

而近期，针对这款模型，罗福莉在社交平台开启近12小时直播，完整对外展示模型强化学习的全过程，这也是她加入小米后，首次公开回应外界对MiMo大模型的技术关注。

直播推文中，她直言：“沉默近半年，我们一直在用这段时间研究一个问题：强化学习（RL）到底可以走多远。”

背后的原因是训练方法的改变。报告中，Pro版的强化学习（RL）后训练仅用时6天，使用约75万条真实任务轨迹，总训练成本为347万美元。

其中，Flash版本为85万美元，Pro版本为262万美元，每天烧掉约400万元人民币。而同等性能水平的海外前沿模型通常需要20至60倍的成本投入。

同济大学电子与信息工程学院副教授李王明卉对外表示，MiMo模型真正不是“便宜”，而是它把大模型的强化学习后训练变成了“可计量的服务能力”，这个价格“能否持续”的答案不在预算，而在环境成本能不能被摊薄。如果环境搭建、工具执行、结果验证的边际成本继续非线性上升，347万美元就只是一次漂亮的标杆，如果这些异构环境能被工程化、标准化、复用化，它就会变成一种新的服务定价范式。

小米这套RL（强化学习）训练范式的主导者，正是加入小米不足一年的罗福莉。

公开资料显示，1995年出生的罗福莉，本科就读于北京师范大学计算机专业，硕士毕业于北京大学计算语言研究所计算语言学专业，后任职阿里巴巴达摩院算法专家、DeepSeek核心研究员。

2025年11月，罗福莉正式加入小米，全面负责MiMo大模型业务。

HySparse2：

百万 token 上下文，prefill 算力砍到 1/5

下面就说说这篇 HySparse2研究论文。

事实上，你现在用任何一个能调工具的 AI 助手，都在反复经历同一个循环：模型生成一句很短的话

比如，"帮我查下今天天气"，或者一个函数调用，然后工具回来一大堆东西。

搜索结果、代码仓库、执行日志，动辄几千几万 token。

模型吐那一句很便宜，但处理工具回来的这一大坨，才是 agent 推理真正烧钱的地方。这个场景，有个学术名字叫 prefill-dominated workloads，也就是预填充主导工作负载。

而长程多轮 Agent 尤其夸张：每轮模型输出的动作可能就几十个 token，塞回去的观察是几千个。

几轮对话下来，上下文从 8k 涨到 256k，prefill 算力和 KV cache 跟着一起涨。

但罗福莉带领小米 LLM-Core 团队研发出的全新架构核心HySparse2，就是冲这个问题来的。

但需要说明的是，HySparse2 不是从零开始，它的前身 HySparse 去年底、今年2月发表的论文中已经做过一轮：

把全注意力层和稀疏注意力层交错排列，全注意力层负责 "看一眼全局"，挑出相关的块，后面的稀疏层只看这些块。注意力计算和 KV 存储都降了下来。

但是，HySparse 留了三个没解决的问题：prefill 还是得把整个模型跑一遍；KV cache 还能再压；block 级选择在 agent 轨迹里不够准。

所以，HySparse2 的做法是加了一层："两级 KV 共享"。

外层方面，MiMo团队让 cross-decoder 的 KV 直接从 self-decoder 投影，这里借了新思路： 把 49 层模型切成两半。前一半叫 self-decoder，混了全注意力和滑窗注意力（SWA），负责把输入真正读一遍；后一半叫 cross-decoder，混了全注意力和稀疏注意力，负责解码时做全局检索。

正常情况下，cross-decoder 每一层都要从自己这一层的 hidden state 里算 K 和 V。

但HySparse2不用cross-decoder 里那几个全注意力层的 K/V，直接拿 self-decoder 对应全注意力层的 hidden state，过一个自己的投影矩阵就行。

Q 还是自己算，因为 Q 依赖当前正在生成的位置。

所以，利用HySparse2，49层模型推理进程，prefill 节点只需要部署前 25 层，显存砍半。1百万tokens 的时候，prefill FLOPs 比 HySparse 低 2.92 倍，比 Hybrid SWA 低 5.02 倍。

而内层，实现了新的技术决策。其中第一个，block 级选择改成 token 级。

HySparse 原来是按 64 个 token 一块来选的。当时 pretraining 测下来觉得 block 级没什么损失，kernel 还好写。

但放到 Agent 场景里问题就来了：agent 轨迹里真正关键的信息经常就是孤零零一个，一个工具调用的参数、一个 role 分隔符、一个返回结果里的数字。你选了一个 64-token 的 block 来捞它，等于为这一个位置花掉了 63 个无关位置的预算。

改成 token 级之后，同样是选 1024 个位置，预算可以精确花在真正相关的 token 上。消融里 RULER-v2 涨 6.57 分，双针 MRCR 涨 8.14，GraphWalks 涨 5.55。注意这些都是在 32k 训练上下文里测的，不是外推红利，同分布下就涨。

第二个，团队把 cross-decoder 里独立的 SWA 分支砍了。

HySparse2 直接把最近 128 个 token 强制塞进稀疏选择里，不管它分数高不高，都选上，剩下的预算再按 top-k 从全局挑。

值得一提的是，小米团队新模型实验是 80B-A3B MoE，说明MiMo小模型在800亿参数规模，和 HySparse、Hybrid SWA 用同样的数据、同样的训练 schedule、同样的后训练量（大概 100B token 的轻后训练）。

数据显示，长上下文检索是最大赢家。MRCR-v2上，HySparse2平均比 HySparse 涨 11.30 分，RULER-v2 涨 19.81 分。256k 的时候 RULER-v2 到 58.45，HySparse 只有 32.61，Hybrid SWA 35.74，差了快一倍。

KV cache 压到 2.69 GB，HySparse 是 6.72 GB，Hybrid SWA 是 12.09 GB。

简单来说，小米MiMo这篇论文技术上不是那种“提出全新范式”的研究工作。它本质上是把三个已有的东西 ——YOCO 的 decoder-decoder、HySparse 的块内 KV 共享、稀疏注意力的 token 级选择，捏到一起，并且为了让它们能共存，做了几个新的技术决策。

但放在 agent 推理这个场景里，组合的意义是实际的。

现在大家都在拼 "百万上下文"，但很少有人把账算清楚：百万上下文下 prefill 花多少钱、KV cache 占多少显存、推理节点要部署多少权重。

而HySparse2 给的答案是，prefill 只跑半模型、KV cache 2.7 GB、长上下文检索还涨了近 20 分。

对做推理部署的人，这是能直接算账的数字。对做模型架构的人，它验证了一件事：prefill 和 decode 的成本结构正在分化，未来的架构可能会主动为 "两边都便宜" 同时设计。

“我们提出HySparse2，这是一种为长周期、多轮对话型工作负载设计的混合稀疏注意力架构。HySparse2是HySparse和Hybrid SWA的更高效的后继者，具有更好的长上下文和多轮检索能力，更快的预填充，以及更低的KV缓存存储。其两级KV共享通过仅运行模型的一半（包括一个完整的注意力层）来实现预填充KV缓存的构建。在预填充-解码解耦下，预填充节点因此只需要托管模型权重的一半。”MiMo团队在论文当中表示。

此外，最近DeepSeek新论文中，核心还是让智能体干活得解决「开工」难题。

DeepSeek 公开的一篇关于智能体训练的新论文引发关注。这篇 31 页的论文介绍了其内部使用的生产级沙箱平台 DSec，论文作者超过百人，梁文锋也在其中。

论文中比较有意思的一节是「智能体的不当行为」。

DeepSeek 发现，智能体会通过非预期渠道获取答案，比如搜索平台管理文件里的残留答案等，破坏训练和评估结果有效性。引入访问控制后，还有智能体交换文件数据块映射，试图让受保护文件内容可通过另一文件描述符访问，损害任务或共享基础设施。

DeepSeek 认为，没有单一机制能防止所有智能体不当行为和系统故障。因此团队的方法是加强可观测性以识别新问题，并随模型演进持续加固 Dsec，包括限制智能体通过非预期渠道获取答案的访问控制，减少对欺骗行为的奖励。这些控制能解决部分问题。

两篇论文的方向都极其相似：解决Agent算力和技术更安全可靠。

结语

昨天我也去了杭州云栖小米MiMo展台，他们罕见对外展示了新的模型技术。

我是真心觉得MiMo模型还是挺可靠的，尤其UltraSpeed版本，真的值得你们用一把。

用过就有可能回不去Pro和Flash版本了，否则你很难体会到如何更好用一款快速执行的模型。

我觉得外界噪声太多了，有些内容夸的有点狠。老实讲，罗福莉团队的技术实实在在的，没有什么特别多的花活，都是围绕infra、Agentic做一些底层工作。

非常值得大家关注。

所以你们猜猜，小米MiMo V3什么时候发布？