网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

0
分享至



视觉语言大模型(VLMs)已经可以轻松完成诸多复杂的场景理解和视觉问答,但是模型对场景的理解真的和人类一致吗?

先前的诸多计算机视觉研究都指出,看似模型和人类都能在相同的任务达到相同的水平,甚至模型可以超越人类的水平,但是模型和人类依赖的却是不同的特征,从而在很多情况下表现出和人类不一致的行为。

来自加州大学圣塔巴巴拉分校的研究者指出,不论是开源还是闭源的视觉语言大模型对于场景中物体的重要性的理解和人类存在显著不同,视觉语言大模型尤其依赖于场景中物体的大小,居中程度,低级显著性,而对场景中的物体是否是人类并不敏感。





  • 论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
  • 论文链接:https://arxiv.org/abs/2605.13047
  • 项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data
  • 项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency
  • 项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency

贡献一:量化场景中语义显著性的模型评估方法

为什么需要黑盒方法

现代视觉语言大模型参数规模巨大,而且大量模型是闭源的,传统的"白盒"可解释性方法(例如可视化注意力图、梯度热力图)要么无法使用,要么难以揭示真正起因果作用的特征。为此,论文提出了一种适用于所有开源和闭源模型的黑盒评估方法,以量化场景中物体对 VLM 给出的场景描述的影响。

反事实语义显著性:移走一个物体,看描述变了多少

反事实语义显著性(Counterfactual Semantic Saliency, CSS)的基本思路就是通过因果干预(Causal intervention),分别检验每个输入元素对输出的影响,来确定场景中每个视觉元素对于场景语义的影响。如果移除场景中的显示器对场景的语义造成了最剧烈的变化,则说明显示器是理解场景最为关键的元素;反之,移除场景里的插座并不会对场景语义造成变化,则说明这些元素的语义显著性不高。



贡献二:反事实场景的人类数据集

307 张原始场景 + 1306 张反事实场景

为了对比人类和模型在场景理解上的差异,研究者基于视觉显著性研究中广泛使用的OSIE 数据集,构建了一个由 307 张原始场景,以及 1306 张反事实场景组成的数据集。其中每个原始场景对应 3-6 个反事实场景,在每个反事实场景中都有一个对应的物体被移除。

227 名被试、16603 条描述构成的人类基线

论文通过 Prolific 平台收集了 227 名人类被试的场景描述数据。为了避免记忆效应和前后干扰,实验采用被试间设计:对于含有 N 个目标物体的场景,原图和 N 张反事实图被分配到 N+1 组互不重叠的刺激集中,每组由约 10 名独立被试完成,确保对于同一个原始场景及其反事实变体,每名被试只会看到其中一个。研究者共收集16665 次试次,剔除与其他被试描述明显不一致的低质量回答(约 0.3%)后,最终保留 16603 条场景描述,每张图像约有 10 条(9–11 条)独立描述,由此构成人类基线。



贡献三:模型在场景理解上和人类表现出显著差异并且依赖于不同特征

19 个模型,无一达到人类水平

研究者评估了19 个主流的开源和闭源视觉语言大模型,涵盖 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等系列。结果显示,所有模型在场景理解上都和人类存在显著差异:无论是判断场景中语义显著性最高的物体,还是给同一场景中的物体排重要性顺序,模型都显著落后于人类之间的一致性水平。



四种假设:大小、居中、低级显著性,还是"人"?

为了进一步理解导致模型和人类在场景理解上的差异的原因,研究者基于人类视觉研究以及深度学习模型偏差的过往研究,提出了四种可能影响场景理解的假设:

1. 大小敏感性(Sensitivity to Size):物体刺激大小是人类视觉注意力的重要线索之一,而过往研究也表明,物体识别类深度学习模型会过度依赖物体大小。研究者用分割掩码的面积来衡量物体大小。

2. 中心敏感性 (Sensitivity to Center):人类视觉天然会关注画面中心的物体,同时诸多视觉模型是在以物体为中心的数据(如 ImageNet、MS-COCO)上训练的。研究者用物体中心到图像中心距离的负值来衡量居中程度。

3. 低级显著性(Sensitivity to Low-level saliency)敏感性:视觉注意力研究指出,颜色、亮度等低级视觉特征上的对比度会影响人类的视觉感知;也有研究指出,视觉模型可能更偏好低级视觉特征,而不是高级语义信息。研究者使用传统的低级显著性模型 Graph-Based Visual Saliency(GBVS)来量化图像中的低级显著性,并以物体所在区域内的低级显著性峰值作为该物体的低级显著性。

4. 人类敏感性 (Sensitivity to Person-Non-person):人类眼动研究指出,即使没有给定具体任务,人们也会优先观察场景中的人。目前还没有工作系统研究视觉语言大模型是否也有这种对人的敏感性。研究者通过 GPT-5.4 标注场景中的物体是否属于人类。

基于上述四种假设,研究者分析了物体的语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。结果发现,与人类观察者相比,视觉语言大模型显著更依赖物体的低级属性;相反,模型对"人"的敏感性显著低于人类观察者。 换句话说,模型更容易被又大、又居中、又醒目的物体"带偏",不论这些物体在语义上是否真的重要;而人类在描述场景时会被画面中有没有人强烈影响,模型却对此相对迟钝



大小偏好是造成人机差异的首要因素

既然模型在四种属性上的敏感性都与人类不同,那么到底是哪一种在主导模型"找错关键物体"?

研究者对每个模型计算两个"差距":一是该模型在某个属性上的敏感性与人类的差值(Δr),二是该模型 Top-1 准确率与人类的差值(ΔAcc)。然后在 19 个模型之间看这两个差距是否相关:如果某个属性上偏离人类越多的模型,找关键物体的表现也越差,那么这个属性就很可能是驱动差距的因素。结果显示,在四种属性中,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种属性均未达到显著水平。这也解释了文章开头的例子:白鸟在画面中占据的像素远多于鱼竿,模型对大小的过度依赖使鱼竿的重要性被掩盖,最终与人类的判断背道而驰。

白盒注意力图并不能告诉我们模型"真正在意"什么

长期以来,研究者常用注意力图或激活图来"看"模型关注了图中哪些区域。那么这些白盒方法能否得到与 CSS 一致的物体重要性?

研究者在开源模型 Qwen3-VL-4B-Instruct 上对比了三种常用的白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。由于模型是逐个 token 生成描述的,每个 token 都会对应一张热力图,研究者对所有 token 的热力图取最大值进行汇总,再取每个物体区域内的最大值作为该物体的重要性。

结果发现,这些白盒热力图要么杂乱无章,要么过于稀疏,经常聚焦在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至呈负相关。这说明,面对结构复杂的现代 VLM,被动观察式的可解释性方法很难揭示真正驱动模型输出的因果因素。



结语

这项研究提出了反事实语义显著性(CSS)这一黑盒、与模型无关的评估框架,并结合大规模人类心理物理实验,系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人类会自然地关注场景中的人,而模型则默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是导致这一差距的最主要因素。在生成数据被大量用于模型训练的今天,"模型是否像人一样看世界"或许是一个同样值得关注的问题。

作者介绍:

本文第一作者温子奇,现为加州大学圣塔芭芭拉分校计算机博士生,研究方向为计算机视觉和认知科学的交叉领域:人类视觉建模,模型与人类的行为差异以及其原因。研究生毕业于卡耐基梅隆大学计算机学院( School of Computer Science),本科毕业于浙江大学计算机科学与技术学院。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
无锡和江大的老大难问题,有望被解决了

无锡和江大的老大难问题,有望被解决了

研微社
2026-11-22 09:05:51
这张赤身渡河老照片,为何能进战争博物馆?看懂的人都哭了

这张赤身渡河老照片,为何能进战争博物馆?看懂的人都哭了

小豫讲故事
2026-11-11 06:00:15
江浙沪中产独生女大面积暴雷,一位台湾企业家看透了原因

江浙沪中产独生女大面积暴雷,一位台湾企业家看透了原因

家传编辑部
2026-11-03 10:25:17
《GTA6》宣传的天气系统去哪了?20小时没见一滴雨

《GTA6》宣传的天气系统去哪了?20小时没见一滴雨

游民星空
2026-11-22 10:14:17
ASML光刻机成功搬入!国内又一8英寸晶圆线落地

ASML光刻机成功搬入!国内又一8英寸晶圆线落地

快科技
2026-11-21 21:35:03
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
现金1万亿却欠1.4万亿货款!工信部出手抽查17家车企账期

现金1万亿却欠1.4万亿货款!工信部出手抽查17家车企账期

江启
2026-11-22 13:58:33
笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

石辰搞笑日常
2026-11-20 00:48:24
董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

念洲
2026-11-22 08:49:31
浙江37岁主管经常熬夜加班,三餐都吃外卖,想靠夜跑强身,跑得满身大汗刚回家就突发脑出血,落下偏瘫;医生:血压超标很多人都不当一回事

浙江37岁主管经常熬夜加班,三餐都吃外卖,想靠夜跑强身,跑得满身大汗刚回家就突发脑出血,落下偏瘫;医生:血压超标很多人都不当一回事

极目新闻
2026-11-20 22:36:55
回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

胡侃社会百态
2026-11-21 19:07:57
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

游民星空
2026-11-22 12:11:17
《爱笑的天使》MV中和李嫣荡秋千的男孩近况曝光:他是嫣然基金救助的第一位唇腭裂小朋友,16年前被意大利人收养,今年21岁的他在大学学化学

《爱笑的天使》MV中和李嫣荡秋千的男孩近况曝光:他是嫣然基金救助的第一位唇腭裂小朋友,16年前被意大利人收养,今年21岁的他在大学学化学

极目新闻
2026-11-21 22:14:14
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
99%新观众不付费,85.9%收入靠普通上班族

99%新观众不付费,85.9%收入靠普通上班族

我是一个养虾人
2026-11-20 20:20:06
比中国队出线还难?阿根廷队身价725万欧,提前迎来出线生死战

比中国队出线还难?阿根廷队身价725万欧,提前迎来出线生死战

何揎室内设计
2026-11-22 17:26:24
郑丽文当面发火,亲手提拔的人,为什么会在关键时刻给她穿小鞋?

郑丽文当面发火,亲手提拔的人,为什么会在关键时刻给她穿小鞋?

老赳说历史
2026-11-10 18:32:55
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
不出意外,明年开始,住宅、商铺、公寓将面临新一轮行业大洗牌

不出意外,明年开始,住宅、商铺、公寓将面临新一轮行业大洗牌

专业聊房君
2026-11-22 15:53:17
2026-11-22 18:40:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14532文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

时尚
艺术
本地
公开课
军事航空

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版