GPT-6「看不懂 3D」实锤！250道题只拿0.53分，Claude没及格

新智元报道

前一阵，GPT-6 Astra 画 CAD 的视频在 X 上实火。

比如这个涡轮增压器，每个零件都单独建模，不仅能正常转动，还能一键原地拆解展开，视觉效果相当炸裂。

一时间，GPT-6 Astra 的 BenchCAD 跑分达到了惊人的 95.9%，评论区不少人已经在讨论 CAD 工程师的再就业问题了。

不过，也有工程师出来泼了盆冷水：这些零件，一个都别往生产线送。因为，画得像，不代表画得对。

内行看门道，外行看热闹。表面上看，模型已经能够复刻 CAD 的视觉界面，但从专业工程师的视角来看，这些模型在科学原理、几何结构以及部件之间的关系上，是否真的准确？有没有一个专业的测评基准，能够检验 AI 对三维科学对象的观察与理解能力，并评估其生成的三维对象是否符合科学与工程要求？

最近发现了一个 benchmark，还真能评测 AI 在建筑设计中的 CAD 能力。它会像专业工程师一样，走一遍零件的检查流程，从结构关系到几何细节逐项核验，判断模型生成的结果是否符合要求。

这个 benchmark 叫 ScienceVision。它的评测范围不止于工程制图，还覆盖生物、化学、医学影像、建筑和机械 CAD 共 5 个科学领域、22 个子领域，包含 250 道基于真实三维数据构建的题目，要求模型通过自主操作三维对象，完成观察、测量与分析。

考得最好的 GPT-6-Astra（搭配 Codex）只拿到了 0.53 分。满分 1 分。

BenchCAD 上 95.9 分的选手，到了三维科学理解与推理的考场上，只过了一半。

ScienceVision 出自 UniPat AI 和视觉推理实验室 Elorian AI，是一个基于专家级视觉问答（VQA）的跨学科视觉三维理解与推理benchmark，团队透露它被开发出来的出发点是一个问题：AI 能像科学家一样观察和推理吗？

根据现有的结果来看，评测覆盖了 GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max等当前最新、最强的 12 个开源闭源前沿大模型，没有哪个模型能在五个学科同时领先。

这到底是些什么题，能把一众模型卡成这样？

先看题长什么样

ScienceVision 的 demo 展示了五个学科各一段检视操作实录，其中所使用的 3D 工具是按照领域专家处理三维源数据的实际操作方式建模的，模仿了最真实的 3D 观察场景。

生物那段，是把整个蛋白质藏起来，只留一个柠檬酸分子和旁边几个离子，量它们挨得多近。

化学那段最短，8 步：框出一个晶胞，用对称操作看它怎么一层层堆下去。

医学影像那段，CT 从三个方向来回切，找肾脏上那个病灶的边在哪。

CAD 那段是一台叉车，零件一个个点开，数有几个长得一样。

建筑那段，是顺着一条坡道量长度和高差，看坡度超没超标。

五段 demo 看下来，就像是各领域的人类专家在审核自己领域的 3D 视觉问题。动作本身都不复杂：转、点、量，但难的是每一步都得先想清楚往哪转、点什么、量哪里，如果不经历比较 solid 的观察、理解、推理，是很难做出正确判断的。

光看视频不过瘾的话，可以自己上手。

这五道题的原始文件和检视工具，ScienceVision 的 blog 上原样开放了：你可以自己点开题目，切 3D 或平面视图，体验如何通过真实的三维检视过程，评估 AI 的科学观察能力。下方展示上手实测，大家可以感受一下：

体验入口：https://unipat.ai/blog/ScienceVision

题看完了，再来说说为什么要出这套题。

科学3D评测的空白地带

过去其实有不少 3D 理解与推理基准，覆盖室内场景理解、具身交互、抽象结构推理等方向，但它们主要服务于日常场景感知、机器人操作或工业设计等通用任务。

然而，真正面向科学领域的 3D 理解与推理基准几乎空白，仅有医学影像和机械工程等少数应用场景的专门基准，且尚未形成体系化的科学 3D 推理评测。

但科学研究过程天然对真实三维世界中的观察、推理能力有要求。

这种能力要求贯穿于不同学科的实践中：化学家要定位原子、测量几何关系；放射科医生要在不同切片间追踪结构；建筑工程师要切换视角、排除遮挡、确认构件的连接关系。

类似的活儿没有一样是看一眼图就能干完的。人类科学家需要根据过往经验，决定往哪看、怎么看、量什么，看完了再用专业知识下结论。放在 AI Scientist 身上，也是相同的道理。

ScienceVision 考察 AI 的逻辑也一样：题目和数据摆在眼前，自己决定看哪里、怎么查。其中的关键之处的道理有点类似于「斯坦门茨画线」：画一条线值1美元，知道在哪儿画线值9999美元。这就能看出哪个模型更有水平了，而可靠的观察和理解，即是检验的第一步。

在过往科学领域 3D 理解和推理的评测方面，不同学科的问题设定、任务输入和评估方式是五花八门的，比如3D文件的格式不统一，渲染出来的交互逻辑也不一样，表达形式更是不一样。

ScienceVision 要填的正是这个空白，做出一个统一的跨学科 3D 视觉理解评测。

250 道题，66 位专家，近 500 小时

ScienceVision 涵盖五个学科：生物学、化学、医学影像、机械 CAD 和建筑学。每个学科 50 道题，共 250 道，横跨 22 个子领域。

每道题由四部分组成：一份真实的 3D 源数据（分子坐标、CT 体数据、机械装配体或建筑模型），一个领域问题（看什么、在哪找、用什么单位和坐标），一份作答要求（返回什么、什么格式），再加一个专家标好的参考答案。

答案用确定性规则核验，不用语言模型当裁判。没有「大致正确」这回事，到就是到，没到就是没到。

一个带确定性校验的 benchmark，其实还有一层潜力：它几乎可以原地变成一个强化学习环境：答对给奖励，答错不给，不需要另一个模型当裁判。

不过，出这套题本身是一件极其困难的事。

首先，选出科学上有意义、确实依赖三维证据的问题。构题需要从具体科学对象出发，明确观察目标、判定条件和所需证据，并确认题目能够在给定环境中解答。每道题都要同时满足专业上成立、视觉目标清楚、答案可以复核。

其次，让不同领域的数据都能被正确观察和测量。分子坐标、CT 体数据、机械 CAD 和建筑模型具有不同的格式、尺度、坐标约定和操作方式。转换与展示过程中，需要保留关键结构信息，并提供适合各类对象的查看、隔离、切片和测量能力。

最后，依靠领域专家建立可信的答案和证据过程。专家需要检查问题真实性和相关性，实际观察对象、计算或确认答案，记录关键步骤，并参与审核与返修。五个领域的专业规则不同，这些工作需要相应领域的知识和经验。

整套流程是机器和人接力干的。

先由自动化管线出题：从三维资产库里挑出适合出题的对象，试一下在查看器里能不能正常看、能不能量，再按模板生成候选题，过一遍规则筛选，打包。

然后专家接手：在 3D 标注平台上审题、改题，亲自上手转、隔离、测量，写下参考答案，操作轨迹顺手录下来，最后再过一道质量审核，不合格的打回。专家打回的意见又反过来喂给出题管线，让它下一轮少犯同样的错。

造题、专家审核、自动修题、改进管线，一圈一圈转下来，才有这 250 道。

最终，这套题的质量靠的是人。

UniPat AI 搭建了覆盖五个领域的专家平台，维护 66 名领域专家，累计投入 482.98 小时。其中化学 113 小时，机械 CAD 116 小时，医学影像 103 小时，建筑 77 小时，生物 74 小时。

专家们审查问题、标注答案、记录操作过程，并参与多轮审核与返修。

这恰好呼应了 ScienceVision 的核心定位：它要测的是 AI 有没有专家级的观察能力，所以答案本身需由专家建立才更有说服力。

前面 demo 里那样的操作记录，250 道题每一道都附带了，而且逐步保存了关键帧。

这些记录把科学观察从一个只看得到结论的黑箱，变成了可以逐步回放的过程。将来要训练 AI 学会「看」，这就是现成的对标数据。

考法上，ScienceVision 在同一套 250 道题上比较了三种证据获取方式：

第一种，给模型原始三维数据，让它自己写代码分析。相当于给了你全部原始实验数据，你自己算。

第二种，在数据基础上再给一套交互检视工具，可以旋转视角、隔离结构、切片浏览、测量距离和角度。相当于不仅给了你数据，还给了你一台显微镜。

第三种，只给六张固定角度的二维渲染图。看你自己能从照片里看出什么？

三种方式用同一套评分标准。

这就可以直接回答一个问题：数据更多、工具更全，模型的表现到底会不会更好？

分数不高，反转不少

来看结果，最高分 0.53（GPT-6-Astra 搭配 Codex），刚过满分的一半。而且这还不是答对率，它是包含部分得分的平均指标，真正完全答对的比例还要更低。

学科之间的差异比总分更有意思。

没有哪个模型五科全优。GPT-6 Astra 在建筑、机械 CAD 和化学三科领先（0.458、0.580、0.609），生物被 Claude Fable 5.1 以 0.650 超过，医学影像则是 Claude Opus 5.5 以 0.399 领先。

CT 本来就是一叠切片，放射科医生读的也是切片，模型训练时见过海量的二维医学影像。

但一个带轴序和体素索引的三维数组，模型就没有那么熟悉。

只给六张固定角度的渲染图，分数掉得更狠：最好的 Claude Fable 5.1 也只有 0.30，GPT-6 Astra 0.25。

换句话说，给照片，模型看不出来；给三维数据，分数是上去了，但论文自己提醒，这些分可能是代码从坐标里算出来的，算不算「看见了」还两说。

扎心的是，给了工具也一样。

榜单前五的模型里，加上交互检视工具后涨得最多的 GPT-6.1 Sol 也只涨了 0.02，GPT-6 Astra 两种设置差不到 0.01，Claude Opus 5.5 还掉了 0.02。

论文里还有个细节：即便在工具模式下，模型照样会去读原始坐标文件。也就是说，你给它一台显微镜和一张数据表，它选数据表。

医学影像是最意料之外的，模型的操作次数是专家的三倍左右，得分却是五个学科里最低的。

这说明当前的前沿模型即使获得了最充分的 3D 数据和工具支持，面对真实科学任务的观察与推理，也还差得很远。

点得多，不代表会观察、会推理。

第一次在统一框架下

衡量出AI三维科学观察的能力边界

在 ScienceVision 之前，科学多模态评测不是没有，但大多只管一个学科，只看二维图片，评分规则也各搞一套。

ScienceVision 的独特价值，可以归成三件事：

第一，题是真三维的。模型拿到的是分子坐标、CT 体数据、机械装配体、建筑模型这样的源文件，不是平面截图。答题得用领域知识去解释三维结构证据，有些题还要先从观察里把目标认出来，再接上拓扑和几何推理，一环扣一环。

第二，工具是照着专家工作流做的。视角切换、目标隔离、切片浏览、科学测量，这些检视操作通过 MCP 开放给模型，具体能做什么随查看器而定。看哪、怎么看、量什么，模型自己决定，没人替它挑证据。

第三，评分是确定性的，五个学科同一套。每道题有参考答案和预设规则，答案的各个组成部分分开核验，再按模型配置和学科汇总得分。不靠另一个模型打分，化学分子和建筑构件的成绩，第一次能放到一起比。

与之最相关的 SciVisAgentBench 同样支持三维交互检查，但评测目标不同：

ScienceVision 在五个学科中都采用同一类问题，即受领域知识约束的结构性问题，加上结构化的领域问题和逐题参考答案评分，SciVisAgentBench 则主要围绕科学可视化软件中的任务展开，评估 Agent 生成的可视化与分析结果是否符合任务要求。

可以说，ScienceVision 第一次在统一框架下衡量出了 AI 三维科学观察的能力边界。

知道差在哪，才知道怎么追。

下次再有人宣布「AI 科学家来了」，可以先让它做完这 250 道题再说。感兴趣的可以点下面的链接了解细节：

GitHub 开源链接：

https://github.com/UniPat-AI/ScienceVision/

Benchmark 链接：

https://huggingface.co/datasets/UnipatAI/ScienceVision

论文链接：

https://github.com/UniPat-AI/ScienceVision/blob/main/paper/sciencevision.pdf

编辑：所罗门 桃子