网易首页 > 网易号 > 正文 申请入驻

人类93.1%,最强模型53.6%:AI的"第六感"考砸了

0
分享至

人类瞄一眼就能答对的题,25个多模态模型集体失灵。Scale AI联合Elorian发布的新基准Humanity's Sixth Sense(HSS,人类第六感),把这块长期没人单独测量的能力变成了分数。


结果很扎眼:20名人类参与者拿到93.1%,榜首GPT-6-astra即使开到最大推理强度,也只有53.6%;25个模型的中位数更是只有30.9%。首发榜单上,25个多模态模型全部显著落后于人类。

HSS追问的不是"模型会不会做题",而是当AI走进汽车、家庭和办公室,它能不能像人一样,在事情被明确说出来之前,就读懂现场。追公交的女人为什么突然慢下来、两辆车之间还能不能再塞进一辆、会议室里谁最心不在焉——这些问题的答案,都不在像素里。

522道题,答案不能直接出现在画面里

HSS包含522道开放式任务,对应288张图片和234段视频,视频总时长17.6小时,划分为4个大类、11个子域:时间与因果动态、物理与空间逻辑、社会理解、抽象与情境推断。

最关键的设计是:答案不能直接出现在像素里。高清放大就能看见答案的题淘汰,需要专业知识的题淘汰,人类无法形成一致判断的题同样淘汰。标注团队编写了3466道候选题,经过三轮独立审核只留下522道,录取率仅15.1%;仅第一轮就淘汰2302道,主因正是"答案其实已经在画面里"或"人类无法一致认可正确答案"。

评分同样严格:模型自由作答,没有选项可排除,由LLM裁判对照评分标准逐条打分,所有标准都满足才算答对。

盲测暴跌到6.6%,视频是重灾区

榜单前五依次是GPT-6-astra(53.6%)、GPT-6.1-sol(46.6%)、Claude-Opus-5.5(44.6%)、Gemini-3.8-flash(41.6%)和Claude-Fable-5.1(40.8%),其余模型全部低于40%。

盲测对照更能说明问题:把图片和视频拿掉,只让最强模型根据问题文本猜答案,GPT-6-astra的成绩暴跌到6.6%。HSS不是在考语言套路,决定答案的证据确实藏在视觉现场里。

视频尤其难。25个模型中有23个在视频任务上表现更差,平均下降7.3个百分点。社会理解是最薄弱的领域:21个模型在这一项得分最低,平均准确率只有24.4%,而其他三个领域平均为34.1%。

94%的失败,是没看懂而不是不会推

研究团队对模型的8573次失败逐项归因,结论与"模型需要更强逻辑推理"的直觉几乎相反:94%的失败来自感知或潜在信息推断,真正的逻辑推理错误只占很小一部分。

最常见的错误是漏掉决定答案的关键线索(21.3%),其次是认错物体、人物或角色(19.9%),再往后是误判尺寸、距离和能否容纳(12.2%)、看错朝向(12.0%)、把二维遮挡误当成三维对齐(9.1%)。

这些错误并非随机。在至少5个模型同时做错的题目中,中位数高达80%的模型会因为同一个原因失败——不同厂商、不同架构的模型,可能共享着相似的视觉盲区。它们能生成很长的思维链,却可能从第一眼就拿错了关键事实,再花几千个Token把错误前提推得越来越完整。25个模型平均每题要用约4000个推理Token。

提高推理强度总体有帮助,但并不稳定。在若干子域里,推理等级越高成绩反而越低,峰值常出现在中间档位。

Agent能补课,补不出空间感

研究团队把模型放进Claude Code和Codex,让Agent可以裁剪、放大、重新抽帧、搜索和反复检查视觉材料。效果确实明显:在388题的子集上,Claude-Opus-5从30.8%升至51.3%,Claude-Fable-5.1从41.2%升至57.7%;GPT-6-astra在Codex中从54.4%升至59.3%,成为Agent设置下的最高成绩。

Agent最擅长修复"再仔细看一遍就能发现"的错误:物体与角色识别错误从181次降到147次,朝向错误从117次降到93次,尺寸与适配判断错误从137次降到105次,漏掉关键线索从154次降到110次。

但一个数字暴露了边界:把二维重叠误判为三维对齐的错误,只从102次降到101次,几乎没有变化。这类失败不是"图没放大",而是模型缺少稳定的三维空间表征。Agent可以拿起放大镜,却不能凭空长出人类的空间直觉。更值得警惕的是,Agent设置中的少数逻辑错误反而增加了。

在人类93.1%与模型53.6%之间,隔着的不是一道更难的考试题。会描述世界,不等于理解世界;会推理,也不等于拥有直觉。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

台州交通广播
2026-10-17 12:49:57
广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

醉卧浮生
2026-10-17 22:14:15
马斯克造出一辆能上天的汽车,车评人:体会到了李鸿章访美的无力感

马斯克造出一辆能上天的汽车,车评人:体会到了李鸿章访美的无力感

可达鸭面面观
2026-10-17 13:03:52
已经10天了,全网还没人能踩断尊界刹车

已经10天了,全网还没人能踩断尊界刹车

远方青木
2026-10-17 22:14:25
上任不到一周,白宫新闻秘书被解职;此前其被指履历造假,本人承认没有中国律师证

上任不到一周,白宫新闻秘书被解职;此前其被指履历造假,本人承认没有中国律师证

大风新闻
2026-10-17 08:34:09
恩断义绝!金正恩治下的朝鲜发生大变化,金与正发表前所未有谈话

恩断义绝!金正恩治下的朝鲜发生大变化,金与正发表前所未有谈话

张嘴说财经
2026-10-16 21:20:32
亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

侧身凌空斩
2026-10-18 02:30:13
3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

狍子歪解体坛
2026-10-18 00:02:49
为特朗普清道,为普京安排骑行,为黄仁勋等嘉宾腾出深南大道:深圳APEC会议周,整座城市进入“高级礼宾待客状态”

为特朗普清道,为普京安排骑行,为黄仁勋等嘉宾腾出深南大道:深圳APEC会议周,整座城市进入“高级礼宾待客状态”

谈史论今1
2026-10-17 17:07:50
园长判了无期,那些篡改检测数据的官员呢?

园长判了无期,那些篡改检测数据的官员呢?

走读新生
2026-10-17 01:00:18
上海一女子沉迷自制酵素12年,75公斤一桶堆满屋,邻居慌了:楼板扛得住吗?

上海一女子沉迷自制酵素12年,75公斤一桶堆满屋,邻居慌了:楼板扛得住吗?

环球网资讯
2026-10-17 08:26:07
风电叶片退役潮:2030年全球要处理4300万吨,中国占四成,怎么办

风电叶片退役潮:2030年全球要处理4300万吨,中国占四成,怎么办

知识TNT
2026-10-17 19:55:07
日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

叒女紫121
2026-10-15 17:59:37
“这个我们真没有……”李斌、何小鹏及车圈大V集体发声,“特斯拉会飞”三大疑问待解

“这个我们真没有……”李斌、何小鹏及车圈大V集体发声,“特斯拉会飞”三大疑问待解

极目新闻
2026-10-16 22:20:21
怕被中方拒之门外,高市早苗参加APEC峰会前,先给自己留好退路

怕被中方拒之门外,高市早苗参加APEC峰会前,先给自己留好退路

梁伫爱玩车
2026-10-17 20:36:29
普京已明确表示:俄罗斯已接管法国、德国、瑞典、比利时等欧洲四国企业在俄罗斯的资产,作为欧盟支持乌克兰直接参与战场敌对行动的回应

普京已明确表示:俄罗斯已接管法国、德国、瑞典、比利时等欧洲四国企业在俄罗斯的资产,作为欧盟支持乌克兰直接参与战场敌对行动的回应

吉刻新闻
2026-10-17 16:15:36
全是假的!出厂价仅1块钱,最高卖到一盒6000元;央视最新曝光,赶紧提醒家里人

全是假的!出厂价仅1块钱,最高卖到一盒6000元;央视最新曝光,赶紧提醒家里人

小虎新车推荐员
2026-10-18 00:16:28
国家安全部披露:许某违法“翻墙”访问境外开放地图平台,多次标注军队等涉密敏感单位位置信息,已被依法处理

国家安全部披露:许某违法“翻墙”访问境外开放地图平台,多次标注军队等涉密敏感单位位置信息,已被依法处理

政知新媒体
2026-10-17 08:15:11
粮油要变天?下半年开始,大米、面粉、食用油或迎新一轮行业洗牌

粮油要变天?下半年开始,大米、面粉、食用油或迎新一轮行业洗牌

云霄纪史观
2026-10-17 01:39:00
疯疯癫癫、目无法纪、坑蒙老百姓,封号2年的小杨哥复出捞金!

疯疯癫癫、目无法纪、坑蒙老百姓,封号2年的小杨哥复出捞金!

神颜贩卖机
2026-10-17 18:22:00
2026-10-18 06:55:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
201文章数 97关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

艺术
游戏
本地
房产
公开课

艺术要闻

美到窒息!黛安笔下的午后“印象”,明媚又温柔,看完心情都亮了!

《使命召唤:现代战争4》Switch 2版支持DLSS

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版