北京
换一个评分量表，模型没变，结论却变了。arXiv 上 2026 年 10 月 15 日的一篇论文给出了具体数字：只改动评分量表的一个要素——范围、格式或正负号——LLM 评审给出的归一化分数平均偏移约 0.10，约 20% 的文本被划入另一个类别。
更值得警惕的是，论文发现基于评分细则的提示词（rubric-based prompting）相比零样本提示，并没有降低这种敏感度。也就是说，把评分标准写得更细，并不能让评审更稳。
对把 LLM 当评审用在生产环境的团队，这意味着一次量表调整——比如从 1-5 改成 1-10，或者把正负号反过来——就能在模型完全没动的情况下挪动评测数字。论文给出的建议是：在把某个绝对分数当作回归门槛之前，先跨量表变体对评审做压力测试。
同一周里，还有两项独立工作指向同一个方向：打分方式本身，可能和被评测的模型一样影响结果。
- 不确定性信号要看检索质量：困惑度这类不确定性指标只有在检索到的证据真正约束答案时，才能捕捉 RAG 的幻觉。检索弱时，模型退回内部知识，幻觉反而伴随看似很低的不确定性。在 HotpotQA/SQuAD 上跨 4 个模型，困惑度检测无支撑改写的 AUROC 约为 0.81–0.91，但表现随检索深度波动；把不确定性与语义漂移分数结合，能改善校准。
- 公平性判定会被评分格式翻转：Ai2 的 FairStress 覆盖 29 个领域的 300 个双候选决策场景，变化身份线索并加入成对的对抗性前缀。关键发现是，固定选项评分（如 BBQ）与自由生成评分，可能对同一个模型指向相反的偏见方向。
公平性与安全评测团队因此需要把评分格式当作变量而非细节：在判定一个模型“公平”之前，两种格式都跑一遍。
幻觉检测这边，SHAM-Bench 把 6 个自然语言生成任务、6,461 个样本的人工标注数据统一到同一套 schema 下，做的是片段级而非整段回复级的幻觉检测，数据集、评测代码和公开榜单均已放出。微调过的检测器在域内表现不错，但分布偏移下会退化；基于提示词的推理方法跨任务迁移更好。细微的、无支撑的内容，仍是专用检测器的盲区。
成本也正在成为评测设计的一等约束。Braintrust 推出的 workflow evals 让评测任务和打分器走供应商的批处理 API（OpenAI、Anthropic），异步处理享受折扣价，结果仍汇总在同一个实验里。代价是延迟——批处理窗口最长可达 24 小时，因此更适合夜间大规模回归套件和非紧急的模型对比，换来大约一半的成本。
Langfuse 则从运维侧给出了另一种视角。其应用内助手 Halo 复用了自家的 MCP 服务器和对外部 agent 开放的同一套工具，默认只读、项目级 API key、可选沙箱处理重结果。Halo 自己的 trace 暴露了工具 schema 不匹配和一个推高成本的提示词缓存问题，两者都在共享工具层被修复。配套的运维指南把重点放在 SDK 升级前的验收检查、用合成 trace 做健康监控（包括恢复演练，因为备份成功不等于能恢复）、自助评测手册和定期权限复核上。
Interconnects 的 Nathan Lambert 在同一周给出了外部视角：基准测试是有用的代理指标，但对真实世界的模型接受度预测很差——Anthropic 连续几次发布基准分数稳定，社区反应却来回摆动。基准排名上升，不保证感知质量上升。
把这几条放在一起看，被审视的对象已经从模型扩展到测量工具本身。量表、信号、格式，三者中的任何一个都能挪动结果，幅度不亚于你想评测的那次模型替换。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
