网易首页 > 网易号 > 正文 申请入驻

最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI

0
分享至

修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。

那如果规则只画在图里呢?

一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。

所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理

8 个前沿模型、3480 次尝试:最强的 GPT-6 Astra(max)只答对 26.7%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 三个模型一题没对。

更戏剧的是:只要用一句话点明规则,总体准确率立刻从 12.2% 跳到 51.1%。

近日Einsia AI旗下 Navers Lab 发布 Agent 视觉推理基准Visual Cipher Bench



40 道原创视觉谜题,67 张黑白线稿,它考的是长程视觉推理,正好卡在现有评测的空白上:

  • 视觉评测大多是单轮问答,题目问什么写得清清楚楚,推理链很短
  • Agent 评测几乎都在文本和代码里,就算用到图像,也能靠试错拿到环境反馈
  • Visual Cipher Bench 两头都不给:线索只在图里,对错没人告诉你

40 道题共用同一句指令:看图,把最终答案写进文件。

哪些图形是样例、哪些是待解的输入、答案是单词还是数字都得自己看。

40 道题分为四类,每类 10 道:

  • 空间操作与模拟:折叠、旋转、投影之后长什么样
  • 逻辑约束与规划:从图里读出约束,走通唯一方案
  • 规则归纳:从几个样例里悟出这道题独有的规则
  • 知识解码:认出摩斯码、盲文、文字游戏这类 “暗号”



  • 论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
  • 项目主页:https://lab.einsia.ai/visual-cipher-bench/
  • arXiv:https://arxiv.org/abs/2611.16861
  • GitHub:https://github.com/Einsia/Visual-Cipher-Bench

成绩单:榜首不到三成,三个模型 0 分

8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排:

  • GPT-6 Astra(max):26.7%,平均每轮解出 40 题中的 10.7 道
  • GPT-6.1 Sol(max)、Claude Opus 5.5(xhigh):并列 21.7%
  • GPT-6 Luna、Claude Sonnet 5.5:0.8%,三轮 120 次尝试,各只对了 1 次
  • DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro:0

29 个配置,没有一个摸到 30%。

而且没有中间地带:前三名每轮能解 8.7~10.7 题,后五名几乎为零。



规则归纳,870 次尝试只对 5 次

29 种配置 × 40 道题 × 各跑 3 遍,一共 3480 次尝试。按题型拆开,偏科偏到离谱:

  • 空间操作:22.8%
  • 知识解码:3.3%
  • 逻辑规划:2.4%
  • 规则归纳:0.6%

榜首 GPT-6 Astra(max) 在空间题上能拿 80%;换到另外三类,没有任何配置超过 13.3%。

在规则归纳这个类别的 10 道题里,870 次尝试中只对了 5 次。

区别只有一个:空间题的规则通常直接画在图上,照着做就行;规则归纳类的,得自己悟。

更扎心的是,那 5 次里还有靠蒙的。这些谜题的答案大多是一个英文单词或短语;有的模型根本没找到规则,只是手头凑出的几个字母刚好能拼成一个和题面主题沾边的词,就把它交了上去,碰巧对了而已。



一句核心规则提示

准确率从12.2%提升到51.1%

既然卡在 “找规则”,那直接把规则告诉它呢?

Einsia AI研究团队挑了 10 道题,给 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 各加一句提示:只点明核心规则,不给中间状态,更不给答案。

  • 总体:12.2% → 51.1%
  • 规则归纳:0% → 85.2%
  • GPT-6 Astra:23.3% → 70.0%
  • GPT-6.1 Sol:13.3% → 66.7%
  • 超时次数:90 次尝试里,从 51 次降到 29 次



会不会只是 “多给一句话” 本身有用?团队做了对照:另写一句只讲 “怎么表示题目状态”、不讲规则的提示,准确率只到 16.7%。

起作用的不是提示,是规则本身。

不过规则也不是万能药:逻辑题给了规则也只有 22.2%,因为对于这些,执行本身就是困难。

AI 的两种输法:赌徒和苦力

翻开失败的轨迹,输家只有两种。

赌徒,押一把就走。 找到一条只能解释部分样例的规则,剩下的看都不看就提交;实在悟不出来,干脆按题面主题押一个词,有的还一边承认 "没解完" 一边交卷。

苦力,埋头算到底。 不缺工具调用,缺的是收网:要么在通用规则里大海捞针,要么明明找对了机制,却把所有组合挨个枚举,就是不用题目的约束剪枝。直到时间耗尽,答案也没解出来。

赢家两样都不做,而是先写下几个候选规则,把每个样例当成一道验证题逐一筛,只剩一个才动手求解。

赌徒只用了一部分证据,苦力拿穷举代替证据。可图里的样例,本身就是测试用例。

真实世界,从不给题干

一句话提示,准确率就能从 12.2% 跳到 51.1%。

很多时候,AI 和答案之间只隔着这一句话。

可偏偏是这句话最难。文档会写需求,测试会报错,真实世界什么都不说,没有人会提前告诉你,眼前这堆线条该按什么规则去读。

自己看,自己猜,再回到图里自己验证。因此长程视觉推理,是 AI 接下来要补的课。

从 “看图找不同” 到密室逃脱,人类一直拿解谜来丈量聪明。现在轮到 AI 站到这把尺子前,第一次量出来的成绩是:26.7 分。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三航母集结后,美国突然捅出情报:伊朗密谋在华盛顿引爆“脏弹”袭击美高官?

三航母集结后,美国突然捅出情报:伊朗密谋在华盛顿引爆“脏弹”袭击美高官?

上观新闻
2026-11-17 14:55:09
新007公布,居然是40岁蝙蝠侠!网友吐槽定妆照:选了个卖保险的

新007公布,居然是40岁蝙蝠侠!网友吐槽定妆照:选了个卖保险的

手工制作阿歼
2026-11-17 11:05:30
蒋万安有惊无险,蓝营估计能拿12到15席

蒋万安有惊无险,蓝营估计能拿12到15席

阿离家居
2026-11-17 08:03:58
拉个横幅,长了教训

拉个横幅,长了教训

中国新闻周刊
2026-11-17 16:25:41
巴西前国脚:葡萄牙没有C罗什么也不是!C罗没有葡萄牙依然是巨星

巴西前国脚:葡萄牙没有C罗什么也不是!C罗没有葡萄牙依然是巨星

念洲
2026-11-17 15:57:09
美股股指期货下挫 道指期货跌0.5%

美股股指期货下挫 道指期货跌0.5%

每日经济新闻
2026-11-17 17:35:06
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

奶盖熊本熊
2026-11-17 08:45:20
台湾地区“九合一”,蓝对绿预估11比10,三个城市或决定选举走向

台湾地区“九合一”,蓝对绿预估11比10,三个城市或决定选举走向

凡知
2026-11-17 10:22:31
Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

韩小娱
2026-11-16 12:13:54
1987年,一美国人花200万买了一张不限次数的飞机票,航空公司很开心以为遇到了傻子,结果20年后,航空公司是苦不堪言,结局令人唏嘘.....

1987年,一美国人花200万买了一张不限次数的飞机票,航空公司很开心以为遇到了傻子,结果20年后,航空公司是苦不堪言,结局令人唏嘘.....

回京历史梦
2026-11-17 06:25:04
墨尔本东南区三人入室抢劫, 一人被捅数刀身亡! 屋主竟被抓, 大批人怒了!

墨尔本东南区三人入室抢劫, 一人被捅数刀身亡! 屋主竟被抓, 大批人怒了!

澳微Daily
2026-11-17 15:09:12
民主党拟将特朗普全体内阁及共和党2028年总统候选人列为调查目标

民主党拟将特朗普全体内阁及共和党2028年总统候选人列为调查目标

阿尔卑斯瞭望
2026-11-16 18:47:41
两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

扶苏聊历史
2026-10-31 14:38:33
波切蒂诺:我希望美国队一直赢,会努力给下一任主帅提供帮助

波切蒂诺:我希望美国队一直赢,会努力给下一任主帅提供帮助

懂球帝
2026-11-17 00:54:27
56岁婆婆绝经分房5年,赴重庆和初恋同住18天,归来后彻底清醒

56岁婆婆绝经分房5年,赴重庆和初恋同住18天,归来后彻底清醒

娱乐洞察点点
2026-11-17 07:04:22
徐子尧版《披着羊皮的狼》凭什么火遍全网?

徐子尧版《披着羊皮的狼》凭什么火遍全网?

喜欢历史的阿繁
2026-11-17 17:14:31
差距很大:美航天服造价10亿可用5次,中国造价仅3000万用几次?

差距很大:美航天服造价10亿可用5次,中国造价仅3000万用几次?

云霄纪史观
2026-11-17 04:35:59
马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

环球趣闻分享
2026-11-16 13:00:24
董明珠现身APEC会议现场

董明珠现身APEC会议现场

证券时报
2026-11-17 16:16:03
2026-11-17 19:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

游戏
教育
数码
房产
公开课

微软第一方新作大地图曝光 体量巨大!自由度拉满

教育要闻

带分数除法,巧拆分,不用硬算快速出结果

数码要闻

三星下一代DRAM三条路线曝光 混合键合成关键工艺

房产要闻

5381亩之后,三亚绿谷,等一个500强!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版