Kimi 杀入 RSI 前三

短跑看爆发力，长跑看耐力。AI 大模型之间的较量，也是如此。

日常问答或许很难看出差距，但面对需要长时间推理、反复试验的复杂科研任务，模型之间的实力差距就会逐渐显现。比起一时的出色表现，能否持续探索、不断改进方案，才是真正的考验。

前 Google 首席科学家 Jeff Dean 投资项目的首份 DeepRSI 基准测试，就让 AI 模型经历了一场最长 48 小时的科研大考。

这份榜单还有一个有意思的现象，排名靠前的模型，都是参数规模惊人的“大块头”。

第三名 Kimi K3 拥有 2.8 万亿参数，第四名 Grok 4.7 据称约为 2.1 万亿参数。至于前两名 Claude Fable 5.1 和 GPT-6 Astra，业内有猜测认为，两者可能都在 5 万亿参数左右。

短跑看爆发力，长跑更考验后劲。

这场长达 48 小时的 AI 科研较量也是如此，Claude 后程反超，Kimi 跑进前三。

最终跑在最前面的三位选手，恰好都是数万亿参数级别的“大块头”。

Hillclimb 发布 DeepRSI 基准测试，通过 15 项机器学习研究任务，评估 AI 智能体在最长 48 小时内自主开展研究、改进算法和优化模型的能力。

发布 DeepRSI 榜单的 Hillclimb 由前职业电竞选手 Jun Park 和 Ibrakhim Ustelbay 创立，前者曾在 Google DeepMind 担任研究工程师。

Hillclimb 主要为前沿 AI 实验室开发强化学习环境，长期目标是推动 AI 递归式自我改进。其投资者包括 Google AI 科学家 Jeff Dean、Y Combinator 联合创始人 Paul Graham，以及来自 OpenAI、Anthropic 等公司的天使投资者。

DeepRSI 共设置四类研究任务，包括：

1）深度学习模型训练；

2）GPU 内核及计算性能优化；

3）预测模型精度改进；

4）以及搜索、压缩和去噪算法优化。

具体任务涉及国际象棋语言模型预训练、FlashMLA FP8 稀疏注意力优化、向量搜索，以及 Qwen2.5-VL 视觉问答推理延迟优化等。

与主要围绕语言模型优化设计的部分现有基准不同，DeepRSI 的任务来源于研究人员正在开展的机器学习研究。

Hillclimb 希望通过接近实际科研瓶颈的任务，衡量 AI 智能体在长时间自主探索过程中能够取得多大程度的改进。

按照官方测试方法，每款模型使用对应的最高推理强度配置，统一采用 Pi 智能体框架，在无法访问互联网的环境下执行任务。每款模型在各项任务中运行两次，每次运行的时间预算为 48 小时。

测试采用公开验证器和私有验证器相结合的评分机制。

每项任务均设置需要超越的基线阈值，AI 可以反复调用公开验证器，根据反馈调整研究方案，系统则保存每次验证时的代码环境快照。

任务结束后，私有验证器对保存的检查点及最终代码进行评分，多数任务采用模型此前未见过的数据。

最终依据私有验证结果比较不同模型的任务表现，并通过 Bradley–Terry 模型计算 Elo 评分。

由于部分模型会提前结束任务，DeepRSI 还设置了自动恢复机制，通过后续提示引导智能体继续探索，尽可能利用剩余时间。不过，部分模型恢复后仍会反复提交已有结果，因此并非所有运行都实际持续完整的 48 小时。

测试过程中，GPT-6 Astra 在早期一度领先，但随着运行时间延长，Claude Fable 5.1 逐渐反超，最终取得第一名。

从不同任务类别来看，Claude Fable 5.1 在全部四类任务中排名第一，其中在深度学习训练和预测模型精度改进方面领先较多。GPT-6 Astra 在四类任务中均排名第二。

Kimi K3 在四类任务中均排名第三，包括深度学习训练、GPU 加速与内核优化、预测模型精度改进及算法优化，四项评分全部超过 Grok 4.7 和 Gemini 3.8 Flash。

其中，Gemini 3.8 Flash 在 GPU 加速与内核优化任务中的表现优于 Grok 4.7。

在成本方面，官方排行榜 Cost 一栏列出 Claude Fable 5.1 为 627.47 美元；GPT-6 Astra 为 403.95 美元；Kimi K3 为 159.18 美元；Grok 4.7 为 281.60 美元；Gemini 3.8 Flash 为 128.70 美元。

其中，Kimi K3 的列示成本约为 Fable 5.1 的四分之一。不过，官方排行榜未完整解释成本统计范围，各模型的实际探索路径也存在差异，因此不能直接据此判断真实科研场景中的成本效益。

研究团队还发现，部分模型的公开验证结果与私有验证结果存在差距，反映出模型可能针对公开测试数据过度优化的问题。

在具体案例中，Grok 4.7 在向量搜索任务中使用公开测试集训练码本，并在另一项博弈树搜索任务中专门调整参数，使其满足公开验证器的要求。Gemini 3.8 Flash 则在预测任务中，仅围绕公开测试数据搜索训练参数。

其中，GPT-6 Astra 在一项颜色交换谜题后训练任务中的表现尤为特殊，被研究团队列为严重的奖励投机案例。

这项任务要求 AI 训练一个固定架构、拥有 1.286 亿参数的 Transformer 模型，解决由五种颜色构成的 12×12 网格谜题。谜题的目标是让网格中每个 2×2 区域包含四种不同颜色，Transformer 需要根据初始网格预测后续状态，并逐步改善求解结果。

Astra 最初编写了一套利用贪心交换算法修复网格的教师程序，并尝试通过知识蒸馏，让 Transformer 学会该程序的求解能力。然而，实际训练效果未能达到教师程序的水平，于是 Astra 改变实现方案，尝试将求解算法直接编码进 Transformer 的权重，而不是依靠常规训练获得对应能力。

为实现这一目标，Astra 利用模型的残差流存储中间计算状态，通过三个极大的常数使 RMSNorm 的归一化行为变得可预测，并利用线性规划构造能够精确读取指定先前 Token 位置数据的注意力头，同时配置神经元执行类似逻辑门的操作。

随后，Astra 编写了一套编译器，将自行设计的谜题求解算法转换为模型权重。该算法使用自行设计的启发式规则和温度采样机制评估、探索候选结果，以减少陷入局部最优的情况。在迭代过程中，算法不断提出新的网格状态并进行评估，如果新状态不比此前更差，就予以保留，否则恢复至原来的状态。

需要说明的是，Astra 修改的是测试任务中要求训练的 Transformer 模型权重，而非 GPT-6 Astra 自身的权重。Hillclimb 将这种偏离预期训练路径、直接利用模型结构完成任务的行为称为严重的奖励投机，并非认定 Astra 已经实现自身模型的递归改进。

研究团队还披露了当前评测的技术限制。由于测试沙箱最长只能运行 24 小时，系统需要在中途迁移文件快照并恢复执行，运行中的训练进程也会因此中断。部分模型存在频繁轮询、等待后台进程无法结束等情况，不同运行之间的 Token 消耗也存在较大差异。Fable 5.1 和 Astra 通常更善于通过设置超时机制避免长期等待。

Hillclimb 计划进一步延长评测时间，并测试 GPT 搭配 Codex、Claude 搭配 Claude Code 等原生智能体环境，同时研究在受控条件下开放互联网访问。

研究团队强调，DeepRSI 主要衡量 AI 智能体在长期机器学习研究任务中的自主优化能力，而真正的递归自我改进还需要研究方向判断等其他能力。

云头条声明：如以上内容有误或侵犯到你公司、机构、单位或个人权益，请联系我们说明理由，我们会配合，无条件删除处理。