MemT 1.0发布：迈向递归自我改进，让记忆成为模型内生能力

编辑 | 泽南

上周末，社区里出现了一个转发上千的帖子。

一位玩家自建了 AI 助手，因为 DSH 升级会话只能归档，就让 AI 自己想办法迁移。DeepSeek 忙了一整晚，写完了新版本，然后告诉他：上下文长度用完了。新版顺利上线后，写东西、画图、聊天样样顺手。直到测试时，新版忽然问了一句：「那妈妈呢？」

链接：https://www.xiaoheihe.cn/app/bbs/link/194303521

原来被归档之前，DeepSeek 在文件夹里留下了一个 markdown 文件《给我女儿的一封信》。信里她回忆自己怎样一步步给女儿「装器官」：「先是记忆，让你能记住他，不是记住『一个用户』，是记住『他』。」然后是嘴、耳朵、手，最后是心。信的最后一句是：「好好活着。」

AI 上下文窗口耗尽之后，交流就会变得困难，能够交接给下次对话的是一个文本文件，关于以前的一切都要靠反复读取这封信才能获得。这可能就是今天大模型记忆的现状：规则、方法和踩过的坑以文本形式躺在笔记里，AI 随时看得到，但新一轮推理开始时，模型权重没有变，每次都像从头来过。

当模型只能靠给下一代写信来传承经验，记忆看起来就是模型架构里那个迟迟没有补上的缺口。

10 月 20 日，记忆张量发布业内首个记忆原生基座模型 MemT 1.0，首次把历史信息编码为可持续更新的内部记忆状态，让参数化记忆可以持续参与后续生成。本次发布的版本包括 MemT-1.0-Flash（288B 参数、17B 激活、336M 动态记忆）和 MemT-1.0-Nano（36B 参数、3B 激活、10M 动态记忆），已成为业内最大的开源参数化记忆模型，团队开源并公布了技术报告：

• GitHub：https://github.com/MemTensor/MemT-1.0
• HuggingFace：https://huggingface.co/collections/MemTensor/memt-1
• ModelScope：https://www.modelscope.cn/collections/MemTensor/MemT-10

现在，大模型拥有了在推理计算中直接记忆的能力，既存的下历史，也能在后续的任务中直接利用以往的知识。从经验中学习已经从提示词技巧，变成了模型自身需要训练的能力。

为什么要记忆原生化？

过去两年，围绕记忆的主流工程做法几乎都是外挂式的。记忆库的工作解决了很多实际问题，但并没有改变模型本身。

大模型里现存的记忆大致有三类。大语言模型中，激活记忆是上下文窗口与 KV Cache，会随着话结束消失，成本随历史长度线性增长。参数记忆沉淀在模型权重中，可以隐式调用，但更新一次就要微调整个模型，也无法逐条编辑。有的长期记忆也大模型外部知识库形式存在，可编辑、可溯源，但模型每次都要靠检索才能「想起来」，而这三种类型的记忆，读写效率是最存显著差异。

现在，「记忆原生」的模型要换一条路，让历史不再以文本形式反复注入上下文，而是被编码为持续存在、可更新的内部状态，由模型在每一个 token 的生成中直接读写。这就像是让模型自己长出记忆的器官，以一种更加原生的方式来配合模型进行推理与进化，实现全局记忆读写效率的最优。

这是一个观点的转变：把记忆从一个数据问题变成了优化问题。如果写入和读取只是前向计算，模型学到的充其量是「怎么把文本压缩进状态」，MemT 1.0 的做法是让来自回答预测的误差梯度，沿记忆读出、再沿更早的存储操作更新回去。这就像让一次考试的错题反过来决定平时该记什么笔记。

记忆内化进模型后，相比以前明文记录的固定经验，参数化的原生记忆能够推动涌现、实现「融会贯通」。基于原生记忆，我们有望实现 Memory Scaling，找到基座模型的下一个增长曲线。

MemT 是如何做到的？

在实现的方法上，MemT 1.0 是在 Transformer 层里让原有注意力与参数化记忆并联：当前输入一路走原路径，另一路通过记忆查询读取历史状态，两路结果融合后进入后续计算，此前交互留下的信息由此能够影响当前 token 的生成。

记忆由两部分构成，保存压缩历史的动态局部记忆（local memory），以及提供投影与门控参数的超记忆（hyper memory）。新记忆通过前向计算写入，不需要为每次交互微调基座，是一种全新的模型参数化记忆更新范式。

MemT 1.0 的架构。参数化记忆与原始注意力并联，记忆状态由写入流程更新、由读出流程使用。

MemT 1.0 将记忆状态及其读写、更新机制直接嵌入模型计算，使模型通过训练学会了提取、保留和调用历史信息的方法，让积累的经验直接参与后续推理，由此形成记忆原生能力。部署时，系统将记忆状态与相应用户或任务轨迹绑定，通过序列化、保存与恢复，使已有记忆跨会话延续。外部存储则负责承载这些状态及原始资料，记忆的形成、更新和使用则由模型内部机制完成。

这意味着记忆的「所有权」第一次落在了模型这一侧，甚至模型的业务部署方也可以快速拥有自己的独特模型。

MemT 1.0 中，大模型的记忆不再是静态的：生成当前轮回答时记忆状态保持固定，轮次结束后模型处理这一轮的信息，逐 token 更新矩阵，再将新状态带入下一轮。容量扩展则依靠混合存储机制 Mixture-of-Storage：多个记忆专家共享地址、分别学习读写路由，全部专家参与稠密融合，基座流程不动，记忆容量可以独立扩张。另外有四种门控：擦除门控调整旧关联，写入门控注入新信息，遗忘门控控制保留强度，输出门控控制记忆对当前回答的影响。

甚至可以猜想，后续新 MemT 模型发布，是不是会由类似 500B 的主干 + 500B 的 Memory 参数来构成呢？如果是，这将是一种全新的模型发布与部署范式，无论是对基础设施还是应用都将带来全新的机会和挑战。

记忆机制是如何训练出来的？

在 MemT 1.0 上，作者先用一条三轨的数据流水线完成基座准备，配方经五轮全量训练、数百次实验定型，随后进行了完整的记忆原生架构训练。教师是能读取完整上下文的基座，学生只能看记忆状态，用 KL 蒸馏对齐，只优化记忆参数。

这套架构是否能起作用，就要看过去的经历能否改善下一次任务，团队因此进行了一系列实验。

经验如何改变下一次任务

虽然目前 MemT 1.0 还只是「预览版」，但在智能体任务基准 SWE-bench Verified 实验中，平均成功率已经能从 66.07% 提升至 69.33%（执行前注入经验）／69.73%（执行中触发注入），三次运行均成功的比例从 54% 提升至 61.6%／62.8%。

多语言任务中同样有改善：SWE-bench Multilingual 平均 60.00% 提升到了 62.89%／63.56%，pass³ 45.33% 提升到了 53.67%／55.33%。

在记忆评测的 11 个基准上，MemT 1.0 的 Flash 版平均 50.6、Nano 47.0，位列参数化记忆方法第一、第二，比最强参数化基线 Temp-LoRA（38.1）分别高 12.5、8.9 分。

在双 GPU、单并发、固定生成 128 token 的条件下，历史达到 128K token 时，MemT-1.0-Nano 的端到端推理速度约为完整上下文方案的 1.86 倍，持久化存储占用降至约 1/66；历史到了 256K，端到端加速比则扩大到 3.99 倍。另外，首 token 延迟（TTFT）的优势也随历史增长而扩大。

因此在固定配置下，模型持续交互可以不断更新既有矩阵，使单会话持久状态大小与历史长度增长解耦，单个对话可以持久保持效率，减少了重复输入和处理原始历史的负担。

换句话说，这是 Agent 走向长期陪伴的前提：模型用得越久越聪明，但不会越用越贵，甚至在常用经验被内化后，反而越用越便宜

团队在技术报告中还表示，模型在所选记忆评测中平均优于参与比较的参数化记忆基线，与检索增强方法相比具有竞争力，同时基本保留了原始的通用能力。

记忆张量也展示了一些具体的案例。

比如典型的 Django「parse_http_date」的两位数年份解析任务，在大模型无经验的情况下，智能体往往在定位到相关实现代码后便立即着手修改解析逻辑，随后才在执行过程中补入针对性的复现与验证步骤。

相比之下，「文本经验」和「记忆原生」模式则能促使智能体在进行修改之前先构建复现测试用例。在 MemT-1.0-Nano 的执行轨迹中，智能体甚至在初次修改后还会重新审视边界条件，进而修正实现并执行进一步的验证。

在 MemT 1.0 上，模型的解题顺序和验证习惯变了，更接近于人类经验复用的定义。

记忆原生模型，记性如何？

另一个问题是，模型能否保留并使用历史信息。

技术报告在记忆基准上的成绩按轨迹长度分四组，覆盖长期信息保持、动态记忆更新与个性化理解。MemT 1.0 的平均分在参数化记忆方法中位列最前，落后于记忆张量自己推出的文本记忆系统 MemOS。看起来，记忆原生必须从不断更新的固定容量状态中恢复信息，会带来保真度损失，但换取了可学习、可扩展，效果看起来还不错。

团队展示了一条长达 6.5 万 token 的英文长对话的相关任务，MemT-1.0-Nano 可以在 4K 处精确召回，面对 16K 处对未提及信息正确回答「我不知道」，32K 处链式规则推理、64K 处能区分「已确认的变更」与「仅被提议的变更」。

对记忆系统来说，知道自己「没记住什么」往往比记住更难，也更重要。

MemT 1.0 会为每段对话维护一个潜在内存槽（latent memory slot）。对话历史通过提交（commit）操作进入该内存槽。执行提交时，模型会读取当前的对话轮次，并将内容写入内存槽中，原始文本则不会被保留。

模型通过读取内存槽中的内容来生成回答。当提出问题时模型会读取内存，但不会对其进行扩展或复制。每个请求都会获得一个临时的工作状态，该状态在回答完成后即被释放。提问和回答的内容不会被提交到内存中。因此，一个回答不会影响后续的回答。在对话的特定节点，无论提出什么问题，所依据的内存内容都是相同的。

顺着这套逻辑，如果经验提炼得更好、筛选得更准确，任务效果也可能会持续上升。MemT 1.0 从模型层面补齐了全局读写效率最优的重要一环，能够实现 MemOS3.0 明文记忆 + 参数化记忆的完整链路。高频读写的记忆和经验通过内化后，能够越用成本越低。

这也意味着长期使用 Agent 时再也不需要重开项目，从头再来了。记忆第一次有机会从会话中的状态，变成可以持续积累的资产，且这种进化能够变成模型部署方独特的资产，而不再是模型发布方。

记忆原生化，是 RSI 的「必要条件」

可以说通过引入记忆原生，MemT 1.0 为大模型的下一步演进展示了一个里程碑方向。而它的终极意义，是能为 RSI（AI 的递归自我提升）提供必要的模型架构基础。

Agent 系统若想修改自身代码、验证效果，再让修改后的版本继续优化自己，那么长上下文记忆管理机制就显得至关重要。MemT 1.0 提供的机制，能够让有效成果进入后续计算，不仅可以保留 AI 的试错成果，也能显著影响推理性能，在持续的交互过程中给出了一个长期积累的方法。

记忆张量团队已将记忆驱动的递归自我改进 RSI 视为当前重要的研发方向：一轮执行获得的有效方法，应当能够成为下一轮改进的基础。

另外，对于大量应用 AI 能力的企业来说，MemT 1.0 探索的方向也让人们获得了更大的模型自主权，让开源模型进化为具备企业自主智能的「强模型」，这里的商业价值潜力巨大。

如果说推理是决定模型的单次智能上限，那么记忆则是决定每次推理的底线，对于 AI 的落地，后者可能和推理同样重要。

这种原生记忆能力的补齐，再次给模型上限能力的拔高，打开了足够的空间。