越过上下文压缩，上智院开源REMORY，一个1.9B的记忆模块就能让小模型独立工作3天，产出不输GPT-6.1-Terra

继 Apex-35B-V1.0 凭借领先 Flint 的表现引发关注之后，开源 RSI 模型又迎来一份亮眼成绩单：REMORY 仅凭一个 1.9B 的记忆模块，用两张 H800 实现完全自监督训练，在多项关键评测中领跑；驱动小模型持续数日递归改进，产出接近 GPT-6.1-Terra。

本文第一作者夏翰宸为上海科学智能研究院研究员，研究方向为 auto research 和智能体记忆。本文的通讯作者朱思语是复旦大学教授、上海科学智能研究院 AI 科学家、上海创智学院全时导师。

• 论文链接：https://arxiv.org/pdf/2610.11287
• Huggingface主页：https://huggingface.co/papers/2610.11287
• Github 主页：https://github.com/fudan-generative-vision/Remory
• 星河启智平台主页：https://aistudio.ai4s.com.cn/partner/research-plaza/galaxy-model/model/Qwen3.8-27B-REMORY-1.9B

RSI（Recursive Self-Improvement）已经成为整个 AI 行业押注的方向。Recursive Super Intelligence 公司由前 Salesforce 首席科学家 Richard Socher 领衔，联创包括前 Meta 明星研究员田渊栋以及来自 OpenAI、Google DeepMind 等机构的顶尖人才，在 10 月 22 日发布了 Flint（40B）；随后 10 月 28 日，由清华大学人工智能学院助理教授陈超勇创立的超衍智能，发布了其首个旗舰模型 Apex-35B-V1.0， 投身 RSI 创业。在这一聚集了硅谷多方押注的新星创企、清华最年轻助理教授团队等选手的大热方向，近期，由上海科学智能研究院（简称上智院）携手上海创智学院、复旦大学组成的 REMORY 团队，在核心开发仅两人的情况下，用 1.9B 可训练参数，和两张 H800，在多个高难度评测中交出了领先成绩：

越过 /compact，让经验持续生效

你日常使用的大模型的上下文窗口是多少？2M？1M？还是 0.2M？一个致力于完成超长任务或和用户长期交互的 agent，上下文压缩会在其工作记忆接近上下文窗口上限时触发。这几乎是各家 Harness 绕不开的共识，比如 Codex CLI / Claude Code，都内置了 /compact 命令。处理方式其实非常简单 —— 概要（summary）。以下这段就是 Codex CLI 的 /compact 背后的「生成概要」提示词。

站在这一节点回顾 agent 近两年的进化史，/compact 似乎已经够用了。但真的是这样吗？

下面这幅「锯齿图」记录了 Qwen3.8-27B 执行 Terminal-Bench 2.1 的 Core War 任务时，上下文不断增长、压缩、再增长的过程。红点与黄点分别表示工具报错和重复输出。REMORY 要改善的，正是这种贯穿长任务的记忆接续能力。

REMORY：拟合上下文压缩带来的记忆残差

当 /compact 发生后，我们会得到一份概要（summary），压缩前的上下文（raw context）与 summary 共同参与记忆构造，通过交叉注意力（CrossAttention）进入 REMORY 模型，并生成一组 residual tokens，再将它们附加到概要后面，供主模型继续执行任务。

这里的 residual tokens 是连续向量形式的软记忆，可以直接进入主模型的输入空间。它们以概要为条件生成，并在序列维度与概要拼接（⊕），这也是我们称它为概要「残差」的原因。

训练全程自监督，基模权重冻结。第一阶段通过内容重建，让记忆模块学会保留源信息；第二阶段以概要为条件，通过 KL 散度学习延续完整历史所支撑的后续行为。梯度穿过冻结的主模型，只更新约 1.9B 的 REMORY 参数。

工具报错近减半，生成开销下降三分之一

记忆带来的收益，同样体现在完整执行过程里。在 Qwen3.8-27B 的 Terminal-Bench 2.1 评测中，工具报错由 933 次降至 568 次，重复输出由 459 次降至 377 次；平均每任务的 token 计价生成开销从 4.29 美元降至 2.86 美元，下降约三分之一。

在 BrowseComp 中，工具报错由 25,244 次降至 12,698 次，减少 49.7%；重复输出由 25,801 次降至 18,105 次，减少 29.8%。更少的重复尝试，让模型把更多生成开销用在推进任务上。

REMORY 的收益也延伸到更强的模型和 MoE 架构：GLM-5.3-Flash 在 Terminal-Bench 2.1 和 BrowseComp 上的得分分别由 84.3、84.9 提升至87.6、89.0。在各自主模型与执行配置保持一致的对照中，加入残差记忆同时带来了得分提升、报错减少和重复输出下降。

Human-on-the-loop 的自动化研究

如果说 benchmark 只是新手村，真实科研场景可谓是模型试炼场。为了测试 REMORY 在科研工作、超长会话中的实际效果。团队邀请来自复旦大学的多位交叉领域学者，与 REMORY 驱动的自动化科研 agent 持续协作。研究者仅通过对话给出方向和反馈。

视频链接：https://mp.weixin.qq.com/s/t4lvA45cX_MA6HHRbkKKqg

在跨度数日的会话中，REMORY 驱动的自动化研究 co-worker agent 持续阅读文献、搭建实验、复现基线、分析结果、改进方法并修订论文。同时每轮上下文压缩的数据又被收集起来，训练记忆模块，实现完全自监督的迭代和热更新。科学研究常常横跨文献阅读、假设提出、代码实现、实验分析和方案修订，早先获得的证据、尝试过的路径和失败经验，都可能影响下一步判断。如果 agent 每跨过一次上下文边界，就需要重新找回工作状态，持续研究的效率与可靠性都会受到影响。REMORY 作为一项共性技术，在有限的上下文窗口内，延续跨阶段任务所需的记忆。 让模型更好地利用此前的探索，才能使它在一次次 /compact 之后，继续把研究推进下去。