NeurIPS 2026 ED Oral丨Benchmark也有保质期？我们给158个评测基准打了分

伴随模型能力提升，模型评测也面临着新的挑战。

部分评测基准已接近饱和，模型分数越来越难拉开差距，跑分的参考价值也随之下降。哪些基准仍然有效，测出的分数还能说明什么？

针对这一现状，来自阿里数据的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案，相关论文已被 NeurIPS 2026 Evaluations and Datasets Track（Oral）接收，是本届该赛道的 15 篇 Oral 论文之一。

团队基于 117 个模型的技术报告，整理并筛选出 158 个评测基准，提出基准健康指数（Benchmark Health Index，BHI），从能力区分度、抗饱和度和影响力三个维度，给评模型的「尺子」做体检，分析它们是否仍能提供有参考价值的模型比较结果。

• 论文标题：Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs
• 作者：Longyuan Zhu、Hairan Hua、Linlin Miao、Wei Wang、Bing Zhao
• 机构：阿里数据、晓天衡宇（https://skyeval.com）
• 录用：NeurIPS 2026 Evaluations and Datasets Track（Oral）

评模型的尺子还好用吗？

在一些基准上，头部模型的得分逐渐接近，出现「分数压缩」的问题，细小的分差可能是统计噪声的影响，难以有效区分模型实力。

长期固定的评测题目可能被纳入预训练数据，提前学习过的高分未必还能反映模型真实能力，而随着模型跑分逐渐接近上限，评测基准的挑战空间也在收缩。一个基准今天还能区分模型，明天或许就趋于饱和，显现出「天花板效应」。

这些问题使评测基准的更新和选择格外重要。

换一套更难的题未必有效。如果所有模型都答不出来，分数同样拉不开。

引用量也并不是最可靠的选择依据。有的评测基准频繁被引，但不代表已经被领先模型广泛采用。这就是「热度与采用情况脱钩」的情况。

怎样筛选仍能有效地区分模型能力、且具有持续评测价值的高质量基准？首先要看清问题出在哪里。

给评测基准做一次「体检」

在论文所分析的 158 个评测基准中，BHI 的系统诊断主要围绕三个问题展开。

BHI 研究数据的构建与分布。左侧为基准筛选与对齐流程，右上为基准在 13 个任务领域中的分布，右下为各厂商纳入分析的模型数量。

评测基准能不能拉开模型差距？

「能力区分度」衡量分数能否清晰呈现模型差异，避免把过小分差或少数极端成绩当成区分能力。

BHI 先以最高分与最低分之差的 2% 为阈值，统计分差超过阈值的模型对占比；再取第 10 到第 90 百分位的分数跨度，观察多数模型之间的距离。占比越高、跨度越大，说明模型表现越能拉开差距。

两项结果经归一化和加权，合成能力区分度得分。得分越高，说明该基准在所收集的记录中越能区分模型；但超过阈值，不等于差异已通过统计显著性检验。

评测基准还剩多少提升空间？

「抗饱和度」不只看模型得分是否接近满分，还要结合参与模型的能力。平均分低，可能是基准难，也可能是参与模型较弱，不能直接说明挑战空间充足。

它先按模型能力对成绩加权，估计当前剩余的提升空间；同时，拟合分数随时间变化的趋势，向后推算 30 天，判断基准是否正在接近饱和。

两部分按 8:2 合成，让当前状态占更大权重，减少短期预测不确定性的影响。

抗饱和度得分越高，说明在所收集的评测记录中，该基准仍保留较大的挑战空间，但不代表能准确预测它何时饱和。

评测基准在实际评测中的采用覆盖如何？

「影响力」指标不只看评测基准的知名度，引用量、下载量和仓库星标等数据并不直接参与这一指标。

它统计报告中提供了有效成绩的模型，并根据模型能力对采用情况加权计算，前沿模型采纳的评测基准权重更高，以此来反映评测基准在高能力模型评测中的使用情况。

同时，该指标不依赖基准或模型的发布时间，也不采用启发式时间衰减，而是根据实际采用情况计算，减少历史热度积累对影响力得分的干扰。

因此，评测基准的影响力得分越高，说明在纳入统计的评测实践中，能力较强的模型仍在较多地使用这一基准。

BHI 的合成方式。CRITIC 方法根据数据确定三个维度的权重：能力区分度占 32.63%，抗饱和度占 35.74%，影响力占 31.63%。

但模型能力又由谁来判断？

如果用一个基准上的成绩估计模型强弱，再用它评价这个基准，就绕回了原点。

为此，研究团队采用 LOBO（留一基准法）：检查某个基准时，先排除它，用模型在其他基准上的表现估计能力。

最后，CRITIC 方法根据各维度的信息量及相关程度确定权重，合成 BHI。总分用于比较，三个维度则帮助看清差异从何而来。

谁还锋利，谁已饱和

综合三个维度的评估结果，BHI 对当前主流基准进行了综合排序：

Humanity's Last Exam（HLE）以 BHI 67.05 位列第一，Agents' Last Exam 和 AutomationBench 分别以 53.08、52.68 位列第二、第三。

HLE 的优势并不集中在单个维度。它既能区分模型，也保留了挑战空间，同时有较广的能力加权采用覆盖。

BHI 综合得分前十名基准。柱顶为综合得分，各色区段表示三个维度加权后的贡献。

总分接近的基准，也可能擅长不同的事。

AutomationBench 与第四名 SWE Marathon 只差 0.59 分，但前者的抗饱和度更高，后者的区分度更高。剩余挑战空间与当前区分能力，并不会总是同步。

第八名 SWE-bench Pro 和第九名 BrowseComp 的差距更小，分别为 48.35 和 48.09。SWE-bench Pro 的抗饱和度更高，BrowseComp 则有更高的影响力。

不过，BrowseComp 的抗饱和度也是前十中最低的。被较多高能力模型采用，说明它在实际评测中有一定分量，却不保证测试还留有充足的提升空间。

榜单给出了先后，分维度结果则解释了差别。选择基准时，还需要看这些差别是否符合具体任务的评测需求。

「体检」结果可靠吗？

三个维度合成的排名，能否有效反映评测基准状态？当数据或计算参数发生变化，这份诊断还能稳定可靠吗？

研究团队先尝试拿掉任意一个维度，发现最终排序都会受到影响：移除抗饱和度后，基准排名平均变动 16.18 位，最大变动达 82 位。移除区分度或影响力，也会带来明显变化。三个维度间的两两相关系数均低于 0.5，进一步表明它们提供的信息并不完全重复，能够从不同角度为基准状态的判断带来有效补充。

团队进一步用独立于 BHI 计算的依据，划分出「已知饱和」和「活跃前沿」两组基准。两组的平均 BHI 分别为 0.227 和 0.600，与外部观察方向一致，进一步验证了 BHI 识别不同基准健康状态的能力。

最后，如果评测记录不完整，结果还稳吗？

研究团队随机移除 30% 的模型后，发现新旧排名的 Spearman 秩相关系数仍高于 0.97，表明排序高度一致。加入分数噪声、调整区分阈值和短期预测参数后，排名也保持了较好的一致性。

随机移除部分模型后的排名稳定性。横轴为移除比例，蓝线和橙线分别为 Spearman、Kendall 相关系数，越接近 1，表示新旧排序越一致。

让评测跟上模型的变化

BHI 为评测基准的有效性提供了一份可持续更新的参考，可以帮助评估哪些评测基准仍有区分价值，哪些则需要重新审视。

不过，不同技术报告里的提示词、工具配置和测试条件未必一致。分数经过对齐，差异仍可能存在。

基准何时饱和，也很难提前算准。一次训练方法或工具能力的突破，就可能让原本很难的任务迅速变得容易。短期趋势能提示风险，却给不出准确的「保质期」。

因此，BHI 更适合作为筛选和复核评测基准的依据，并随着新模型、新评测基准的出现持续更新。

模型在进步，衡量它们的尺子也需要定期检验、向更精确的方向演进。