90%准确率却可能毫无意义？AI基准测试被指"暗黑艺术"

如果你想知道一个AI模型到底有多强，最直接的办法是什么？给它出一套标准化的试卷，看它考多少分。这套逻辑简单到几乎不需要解释——就像用尺子量身高一样天经地义。

但问题是，这把尺子本身，可能早就坏了。

计算机科学家、马克斯·普朗克智能系统研究所主任莫里茨·哈特对此有一个相当尖锐的判断。他说得很直白："基准测试生态系统已经崩了。"在他看来，这些衡量AI能力的标尺，已经坏了几十年。

哈特在2026年出版的《机器学习基准测试的新兴科学》一书中，提出了一个更让人意外的观点：基准测试是"让机器学习犯下的错误"。但吊诡的是，这个错误并没有引发科学危机，反而推动了实实在在的进步——用他的话说，"很大程度上是靠运气"。

要理解这件事，得先搞清楚基准测试到底是怎么运作的。

逻辑其实很简单：把数据分成训练集和测试集。训练集随便你怎么折腾，没有规则。但测试集只用来做一件事——排名。让排行榜告诉你，现在谁是第一，谁是第二。

听起来很合理。但问题出在一个被整个学科集体忽视的警告上。

任何一本机器学习教科书都会告诉你"留出法"：测试集必须锁起来，只能用一次来排名。如果你不这么做，结果可能极具误导性——因为你评估的模型，某种程度上已经"知道"了测试集的内容。

而机器学习这个学科做了什么？它把所有测试集放到了互联网上，让所有人都能用。把测试集放进模型的开发循环里反复迭代，变得轻而易举。

这就是"坏掉"的地方吗？

哈特给出了一个更具体的例子：如果你看一个模型在某个基准上的准确率，然后只稍微改动一下测试集，你会得到完全不同的数字。在一个数据集上是90%的准确率，换一个数据集就变成73%——那这个模型到底有多好？没人知道。

但这里出现了一个真正有趣的反转。

如果绝对数字没有意义，为什么机器学习没有陷入复制危机？

哈特的解释是：如果你不看绝对数字，而是看排名——模型之间的相对比较——这些排名在不同数据集之间往往非常稳定。一个模型在某个测试集上拿到90%，另一个拿到80%，那么90%的那个，在现实世界中通常确实更好用。即使换一个完全不同的数据集，它大概率还是会赢。

这就是机器学习逃过科学危机的主要原因。基准测试告诉你的是"你什么时候打败了之前的最好成绩"，而这些进步指标相当可靠。

但哈特也承认，这件事能行得通，运气成分很大。"我们本来没有理由期待会是这样。"而且，至今没有一个好的综合理论来解释为什么会这样——这更多是一个经验现象。

然而，到了大语言模型时代，这种"偶然的可靠性"正在失效。

排名稳定性有一个巨大的前提：模型必须在同一个训练集上训练。在过去，这总是成立的。但现在，我们根本不知道大语言模型是在什么数据上训练的。更麻烦的是，模型开发者可以策略性地拼凑数据组合，来最大化基准测试的表现。

这有点像高中生的应试备考。哈特说，这就是当前基准测试危机的根源——更好的模型不一定能赢。一个更差的模型，可能只是在特定基准上花了更多功夫准备。

这甚至不算什么"罪行"。每次新模型发布都会发生：你看最新版Gemini或GPT的说明，会发现它在新模型发布之前就已存在的基准上表现极好，而在新模型发布后不久才推出的基准上，表现就差得多。这通常说明模型在早期基准上被"后训练"过——有人管这叫"benchmaxxed"。而这，是被普遍接受的。

那有没有出路？

哈特讲了一个故事：1968年墨西哥城奥运会，一位美国跑者被极度看好赢得1500米比赛，却意外输给了一位来自肯尼亚高地的选手，差距还不小。那位肯尼亚选手在高海拔地区训练，更适应在海拔7500英尺的地方比赛。这引发了一些争议：要不要禁止高原训练？最终共识是——让所有人都去练。

问题不在于人们针对基准做优化，而在于优化的程度不同。如果所有人都优化，或者都"高原训练"，绝对数字会被抬高，但排名的有效性可以恢复。

那AI基准的"高原训练"长什么样？

哈特的设想是：我们事先不知道模型里装了什么，但可以在测试前，用与基准相关的数据对每个模型做一点训练，确保大家站在相对公平的起跑线上。在这种新框架下，没有训练集，只有一个测试集，以及一套在测试前准备每个模型的协议——这就是"高原训练"。

但即便这招管用，我们也只是回到了原点：有进步指标，却没有有效的测量。没有有效测量，我们怎么真正理解这些模型是怎么工作的？

哈特承认这个问题很棘手。他说，基准测试的胜利带着某种悲哀，因为它似乎让我们放弃了科学真正要做的事：理解机制。但反过来想，如果我们已经有一套宏大的数学理论来构建这些模型，我们根本不需要基准测试。

我们不知道这些模型是怎么做到的，基准测试也不会告诉我们。

不过，从长远看，基准测试可以带来新的科学知识。CASP蛋白质折叠基准就推动了科学进步，而它并没有先坚持要有一套关于蛋白质折叠的科学理论。这，或许就是基准测试在科学中悖论式的力量。