网易首页 > 网易号 > 正文 申请入驻

给猫狗分类器看一辆车,它为何仍敢报92%的把握?

0
分享至

训练一个模型分辨猫和狗。喂它几千张照片,直到它几乎张张都答对。然后给它看一辆车。


它不会犹豫,也不会说“这不是动物”。它会说“狗,置信度92%”——面不改色地答错。

这不是某一个模型的缺陷,而是分类器的工作方式。

被迫做选择

普通分类器没有“我不知道”这个选项。它最后一层的softmax会把原始分数换算成概率,而这些概率之和恒等于1。所以无论你给它看什么——一辆车、一个手写数字、一张它从没训练过的医学影像——它都必须把胜算判给某个它认识的类别。

它输出的那个置信度数字,看上去像自我认知,其实不是。它只说明输入最像哪个已知类别,并不说明输入是否属于任何已知类别。研究人员至少从2017年就知道这一点:Hendrycks和Gimpel当时指出,模型的最高softmax概率对陌生输入只是一道很弱的防线——但那是人们拥有的第一道防线,至今仍是其他方法对比的基线。

OOD检测是什么

OOD指分布外(out-of-distribution),即来自模型训练数据之外的数据。OOD检测是挂在分类器旁边的一道护栏,做两件事:

  • 给每个输入打一个“陌生度”分数。分数高意味着“看起来熟悉”,分数低意味着“看起来陌生”。
  • 划一条线,也就是阈值。分数低于这条线,系统就标记该输入,而不是相信预测结果。

整个思路就这么简单。这个领域其余的一切争论,都围绕分数该怎么算、线该划在哪里。

近与远:真正要紧的那一类

并非所有陌生输入都同样陌生。

远OOD很明显:给狗分类器看一个手写数字。特征和训练数据毫无相似之处,几乎任何评分方法都能抓到。

近OOD才难:给狗分类器看一只狼。毛、耳朵、口鼻都相似,大部分特征重叠。模型恰恰在最该谨慎的地方最有把握。

远OOD算是个基本解决的问题。近OOD仍是这个领域的难点,而它正是真实部署中会出现的情况——新的疾病变种、另一个国家的路标、不同光线下拍的产品照片。

几种评分方法,用大白话说

翻OOD论文,有四类评分反复出现:

  • MSP——最大softmax概率。直接取模型的最高置信度。简单、免费,是Hendrycks和Gimpel(2017)的基线。效果弱,但一切都拿它作参照。
  • Energy——用模型的原始logits而非归一化后的概率计算(Liu等,2020)。区分熟悉与陌生比MSP更干净,且不增加额外计算成本。
  • 特征距离——不看最终答案,看输入落在网络内部的什么位置。它离训练样本有多远?用马氏距离衡量,或看最近邻(kNN)。如果它离模型见过的一切都很远,就标记它。
  • ViM——虚拟logit匹配。一半是特征距离,一半是残差:它衡量输入特征中分类器自身方向无法解释的那部分(Wang等,2022)。解释不了的剩余量就是信号。

这些方法都不重新训练模型。它们读取一个冻结的模型,用不同方式问同一个问题:这个输入属于这里吗?

怎么判断一个评分好不好

两个数字承担了大部分工作:

  • AUROC——评分把熟悉输入和陌生输入分开的能力。50%意味着在瞎猜,100%意味着完美分离。
  • FPR95——当你抓到95%的陌生输入时,有多大比例的正常输入被误标?越低越好。这个数字在实际中最疼,因为每一次误标,都是一个你拒绝回答的真实输入。

为什么重要

错误答案不总是无害的答案。一个医学模型自信地误读来自新医院的影像,一个自动驾驶系统自信地误读陌生路标,一个内容审核过滤器自信地放行它从没见过的东西——在这些场景里,自信犯错的代价,远高于说一句“不确定,请人工处理”。

OOD检测不是让模型更聪明,而是让它们更诚实。

它还没解决什么

坦白局限,是理解这个想法的一部分:

  • 近OOD仍然难。最好的评分几乎能完美分开远OOD,对近OOD只能部分分开。
  • 阈值需要真实数据来定。用错数据划线,结果要么什么都标记,要么什么都不标记。
  • 没有哪种评分处处最优。在某个数据集和模型上最好的评分,换一个可能就平庸。这也是这个领域要并排跑这么多基准的原因。

作者Solomon是北达科他州立大学的硕士生,用大白话写机器学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

芯智讯
2026-11-20 22:57:02
河南百万粉丝网红“老徐”去世!年仅55岁,诸多豪车前往送别,曝细节原因太可惜

河南百万粉丝网红“老徐”去世!年仅55岁,诸多豪车前往送别,曝细节原因太可惜

裕丰娱间说
2026-11-20 19:17:01
TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

手工制作阿歼
2026-11-20 16:14:33
1-1!凯恩被飞铲,1.8亿先生伤退,拜仁主场损兵折将,恐让出榜首

1-1!凯恩被飞铲,1.8亿先生伤退,拜仁主场损兵折将,恐让出榜首

我的护球最独特
2026-11-21 05:32:30
首战完败西班牙!邝兆雷领衔国少三大输家,万项最佳,浮岛敏获赞

首战完败西班牙!邝兆雷领衔国少三大输家,万项最佳,浮岛敏获赞

南海浪花
2026-11-21 00:50:55
越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

黄埔少侠
2026-11-20 18:48:11
多国领导人感谢中国

多国领导人感谢中国

环球网资讯
2026-11-21 07:38:13
Nike首次设计德国队新球衣遭吐槽!网友:辣眼睛,像垃圾桶...

Nike首次设计德国队新球衣遭吐槽!网友:辣眼睛,像垃圾桶...

品牌新
2026-11-20 19:21:16
墨西哥总统辛鲍姆搭乘南航CZ8031返程,抵墨后发文致谢机组

墨西哥总统辛鲍姆搭乘南航CZ8031返程,抵墨后发文致谢机组

读创
2026-11-20 20:25:07
余承东:无论闪充超充 实际充电速度都差不多

余承东:无论闪充超充 实际充电速度都差不多

快科技
2026-11-20 17:36:10
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
压不住了!乌军换以色列卫星终端9天炸7座炼油厂:俄军找不到抓手

压不住了!乌军换以色列卫星终端9天炸7座炼油厂:俄军找不到抓手

古书奇谈
2026-11-20 11:43:56
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

青科新闻
2026-11-20 14:08:31
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

环球网资讯
2026-11-21 07:06:48
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

极目新闻
2026-11-20 19:13:17
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
2026-11-21 09:40:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
227文章数 79关注度
往期回顾 全部

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
亲子
时尚
手机
房产

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版