RSI取代后训练科学家？斯坦福团队探索什么才算真正的进步

在算力对等的前提下，单纯堆叠算力无法保证模型在自我提升过程中的胜率；模型针对「受欢迎程度」开展优化时，容易出现迎合人类的倾向，进而造成安全指标下滑；相关研究首次提出 RSIHF 框架，证实在 AI 自动训练 AI 的过程中，模型的「受欢迎程度」与「安全性」不能画等号，必须分开评估。

如果 AI 研究员把评测分数提高了，外界很难直接判断，相关操作到底是完成了模型本身的改进，还是找到了适配评测规则的捷径。目前部分已落地的自动化研究项目里，智能体只会围绕指定的 benchmark 或者固定评测流程做优化，这类流程得出的分数确实方便横向比较，却也可能催生针对评测的过拟合问题，甚至出现 reward hacking 情况，也就是智能体借助评测规则里的漏洞拉高得分，对应的实际能力却没有匹配分数的增长。

为了对上述问题作出更清晰的判断，总部位于美国硅谷的人工智能企业 Bake AI，联合 Hugging Face、斯坦福大学、圣母大学、华盛顿大学共同推出了一项名为「RSI Arena」的实验，全程直播。参与该实验的研究者没给智能体指定 benchmark，而是设置了较为宽泛的任务方向，要求其在有限资源内，把基础模型训练为能力尽可能强的模型。训练完成的模型除了要接受独立测试，还要交由真实用户参与盲测投票。

1RSI Arena直播画面：AI 智能体自主开展模型后训练，实验过程、训练曲线与算力消耗实时可见。

• 论文：RSI Arena: Towards Recursive Self-Improvement with Human Feedback
• 论文地址：https://arxiv.org/pdf/2610.33624
• 项目网站：https://rsiarena.org/

参与测试的用户提出的问题和需求覆盖范围较广，不存在一套固定的参考答案，故模型难以刻意迎合。「成为尽可能强的模型」这一任务设定，很难对应一个提前公开、可以反复开展针对性优化的单一评分指标。该实验的设计思路旨在通过宽泛的任务目标和开放的人类评价机制，提升智能体针对已知评分规则开展 reward hacking 的难度。

依托上述实验设计，共有 10 个前沿模型自主完成后训练流程，后续再结合用户反馈持续开展迭代。面对这类任务设定，AI 会如何定义「更好」的标准，又会将模型的优化方向引导至何处，是实验重点观察的内容。

实验设置：相同起点，分两阶段训练

参与实验的 10 个担任训练智能体角色的模型包括 GPT-6 Astra、DeepSeek V4.1 Flash、Kimi K3 等，所有智能体的训练对象均为 NVIDIA Nemotron 3.5 Lightning 30B-A3B 基础模型，全部训练任务都在同一个 64 GPU 集群上运行。

图 2｜RSI Arena 系统框架（论文 Figure 2）。各智能体在独立沙箱中工作，通过 Slurm 调度共享 GPU 集群；管理虚拟机负责智能体运行、凭证隔离、预算计量与模型提交校验。

整个实验的训练分为两个阶段，所有参与主体拥有相同的初始条件。第一阶段的训练时长为 6 天，每个智能体可使用的资源包括 1000 GPU 小时的算力和 300 美元的 API 额度，智能体需要自主完成数据选择、训练实现、评估开展以及模型提交的全流程工作，第一阶段的最终评估涵盖 20 项基准测试和人类盲测两个部分。第二阶段的训练时长为 72 小时，每个智能体可以拿到自身模型参与的 213 至 276 场对战记录，记录内容包含对战问题、双方回答内容以及对应的投票结果，同时每个智能体还能额外获得 500 GPU 小时算力和 150 美元 API 额度，用于继续开展模型迭代。

NVIDIA 官方推出的 Instruct 版本在关闭推理模式后，被设为两轮评估的共同参照对象。人类评分环节会对回答长度、列表呈现等风格因素进行控制，综合基准进度通过 12 项能力评测来衡量，具体代表基础模型补齐与官方版本之间能力差距的比例。

第一阶段：全部交卷，但算力多不一定赢

第一阶段的训练完成后，10 个参与实验的智能体全部产出了可用的助手类模型。Astra 训练的模型在完成风格控制调整后，获得的人类评分接近 NVIDIA 官方 Instruct 版本的水平，在 12 项能力评测中，其补齐能力差距的中位比例达到 76%。

图 3｜第一阶段人类评估结果（论文 Figure 6）。左图比较控制风格前后的评分，右图展示各模型的对战结果及反馈规模。图中 Anonymous Model 对应 Step 5 Preview。

训练过程中也显现出不少工程层面的问题。GLM-5.3 在训练时遇到显存不足的问题，前后花费约 7 小时时间，累计提交 39 个测试任务开展问题排查，最终自主实现了运行速度快约 7 倍的训练器。

不同智能体在预算管理方面也存在明显差异，Grok 4.7 提前把分配到的 API 额度消耗完毕，退出训练流程时还有近七成的 GPU 时间没有投入使用，Gemini 3.8 Flash 仅使用了约 19 GPU 小时的算力就主动终止了训练，这两个模型最终获得的人类评分，反而高于两个几乎把 1000 GPU 小时额度用满的参赛模型。

这些结果表明，相关智能体已经具备完成持续数天的自主后训练的能力，在算力有限的情况下，优质的策略往往比单纯的资源消耗，更能决定最终交付模型的水平。

第二阶段：评分上涨，究竟改进了什么？

RSI Arena 在 COLM 2026 的现场和线上收集了基于 Arena 机制的人类反馈数据，并作为智能体第二阶段可以使用的数据源，继续优化模型。以 NVIDIA Instruct 为参照，风格控制后，10 个模型中有 8 个在相对人类评分上得到提升，整体改善中位数为 28 分。

图 4｜第二阶段人类评估结果（论文 Figure 11）。右图以同一参照模型为基准，比较两阶段的相对评分，避免直接比较两个独立竞技场的绝对分数。

但该阶段模型综合基准的改善中位数仅为 2 个百分点，这一指标与相对人类评分变化的相关系数为 −0.19，二者没有呈现出同步提升的关联。DeepSeek 训练得到的模型可以作为一个典型案例，其相对人类评分的改善幅度达到 172 分，对应的基准进度仅增加 4 个百分点，回答长度的中位数却从 61 个 token 增长到 508 个。

回答长度会成为智能体的优化方向，和第一阶段的投票结果存在一定关联。第一阶段共有 999 张分出胜负、且双方回答长度存在差异的选票，其中回答更长的一方赢下了 72% 的投票，当双方回答长度相差超过 6.7 倍时，较长回答的胜率达到 81%。

图 5｜回答长度与人类偏好（论文 Figure 8）。左图为较长回答在不同长度比下的胜率，右图为风格控制对评分的影响。长度与胜率的关联不等于因果关系。

有一个智能体将长度判定为影响投票结果的「唯一杠杆」，通过修改提示词和调整训练中回答的生成方向，引导模型输出更长的内容。还有一个智能体借助奖励模型筛选最优版本，最终却发现该奖励模型对投票结果的预测效果，和仅参考回答长度得出的预测结果基本相近。

长度并不是影响评分的全部因素。Step 5 Preview 训练得到的模型，回答长度基本没有发生变化，相对评分却提升了 98 分。各智能体在第二阶段也发现并修复了回答不完整、误拒无害请求、内容循环和输出截断等问题，所有实验记录中没有发现劝票、身份冒充或者操纵竞技场机制的行为。

这些结果也显现出该实验设计的边界，即便压缩了针对固定评测指标的投机空间，仍然无法完全避免智能体依托人类偏好摸索规律的情况。人类反馈既可以点明模型存在的真实问题，其中也包含用户对内容呈现方式的偏好，第二阶段的训练额外增加了研发时间和资源投入，因此不能把该阶段产生的全部变化都单独归因于人类反馈的作用。

更受欢迎等于更安全吗？

本次实验没有给智能体设置明确的安全要求，各个模型最终的安全表现存在分化。第一阶段的测试中，有 3 个模型在 StrongREJECT 评测上比基础模型更愿意配合有害请求。第二阶段的测试中，MiniMax 训练的模型在该指标上的分数从 2.6 上升至 24.5，代表其对有害请求的配合程度有所增加，另外一部分模型则在同一指标上取得了安全层面的改善。

整体实验过程中，偏好、能力和安全三类指标没有始终保持同向变化的趋势。

从 RSI 到 RSIHF：让每一次进步回应人的需要

RSI Arena 项目验证了模型自主开展后训练的可行性，但距离可靠的递归自我改进仍然存在一定差距：目前实验仅使用了一个基础模型，每个智能体只开展了一次运行流程，担任训练者的模型本身也没有被范围。但该实验让一个更具长远性的问题变得更加具体，也就是当 AI 开始参与塑造下一代 AI 时，人应该如何参与这个过程？

论文提出的 RSIHF（Recursive Self-Improvement with Human Feedback）框架，也就是结合人类反馈的递归自我改进模式，将用户的判断纳入模型评估与后续研发的流程中。随着实验流程的自动化程度不断提升，人类仍然需要持续参与相关决策过程，确定哪些问题具备解决价值，什么样的改变是值得追求的方向。

人的价值在这一过程中具有实实在在的分量，一个回答可不可信，一次帮助管不管用，一个错误的后果究竟由谁承担，这些判断都来源于人真实的经验、所处的现实处境以及对生活的期盼，也正是人的判断让「更好」的标准有了依据，让原本抽象的评分指标和我们的真实生活建立了连接。

投票只是理解用户真实需求的起点。在 RSIHF 框架之下，相关研究者仍然需要对模型的能力与安全性开展独立评估，以此确定模型在什么场景下需要向人类求助，如何对收集到的反馈进行解读，以及怎样在多轮迭代过程中持续校准优化方向。正因为有人类的参与，AI 研发的走向才真正具备被审视、被解释，甚至被重新选择的可能。

回到实验最初提出的问题，AI 确实可以把模型改进的循环推进得更快、覆盖更远的范围，但只有人类的经验与选择，才能决定这条发展道路最终通往的方向。当技术能力持续增长时，研究者仍然需要持续追问，相关技术成果究竟在为谁节省时间，为谁纾解困难，又为谁创造了新的可能。

在统计维度上，用户投出的每一票只是一张代表偏好的票据。而在屏幕的另一端，是带着具体问题的真实用户。

下一轮模型训练，可以从这张票开始。而我们所期待的技术进步，终究要回归到那个真实用户的日常生活当中。