北京
分享至
18个Ruff问题，一个小型本地模型和关键词规则打成11比11。平局本身不算意外，意外出现在后面的图像测试里。
把评分模式从完整评分切换到二值评分，仅图像准确率从0/6直接翻到6/6。同一批生成图像，同一套判定对象，只是换了计分方式，结论就掉了个方向。
正方会说：这说明模型在图像任务上并非无能，此前的0/6是评分口径压出来的假象。反方会说：二值评分把部分正确和完全正确抹平，6/6未必比0/6更接近真实能力。
两边的分歧其实指向同一件事——评分机制本身能主导头条结果。文本侧的11比11已经说明小模型和关键词规则在这批问题上难分高下，图像侧的口径切换则说明，换一把尺子，排名和准确率都可能重写。
对做评测的人来说，这组数字的价值不在谁赢谁输，而在提醒：报出准确率之前，先交代清楚用的是哪种评分模式。否则读者看到的差距，可能只是计分规则留下的痕迹。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
