网易首页 > 网易号 > 正文 申请入驻

Nat Hum Behav|AI回答有多像人?六类任务显示人机识别的差异

0
分享至


● 认知神经科学前沿文献分享

● 分享人:小虎

论文信息:Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI

发表时间:2026-10-26

发表期刊:Nature Human Behaviour

DOI:10.1038/s41562-026-02590-6


如果你看到一段描述图片的文字,画面中的人物和物体都说得准确,表达也很自然,你能判断它来自人类还是AI吗?换成一段日常对话,或者给出提示词后的联想回答,判断又会不会更容易?随着AI能够完成越来越多的语言与视觉任务,一个问题也值得检验:AI生成的回答与人类有多相似,人们又能在多大程度上识别这种差异?

Mengmi Zhang等人在《Nature Human Behaviour》发表的一项研究中,收集了636名人类参与者和37个AI模型在六类语言与视觉任务中产生的36,499条回答。随后,研究者开展72,191次类似图灵测试,让1,916名人类判断者和10个AI判断者辨别回答来自人类还是AI,以比较两类判断者的识别表现,并评估AI在不同任务中模仿人类回答的能力。



为什么要检验回答是否像人

通常,AI模型的表现会通过它与参考答案的吻合程度来评价。例如,一张图片可以被准确描述为“有人坐在沙滩上”,但不同观察者也可能关注人物的姿态或画面中的特殊细节。对于图片描述、词语联想和对话等开放任务,答案合理与表达方式接近人类是两个需要分别考察的问题。

图灵测试提供了一个思路:让判断者根据回答判断其来源。本文将这一思路扩展为类似图灵测试。在具体测试中,判断者看到任务材料及一份回答,再选择回答来自人类还是机器。研究关注特定任务中的模仿表现,并不把这种判断直接等同于对一般智能的测量。



六类任务,两种判断者

研究设置了三类语言任务:描述图片、根据提示词联想一个词,以及参与日常对话。另三类属于视觉任务:指出图片的主要颜色、列出画面中的物体,以及预测观看图片时眼睛依次注视的位置。最后一项通过人类眼动记录与模型生成的注视轨迹进行比较,涉及自由观看和寻找目标物体等情境。

人类判断者根据呈现的材料辨别来源。研究者还让机器担当判断者,其中主要比较采用经过训练的分类器,利用文字特征、图像信息或注视位置辨别来源;部分实验也直接使用大语言模型判断。为便于比较,研究分别报告正确识别人类回答和正确识别AI回答的比例,再将两者取平均,得到模仿可检测性。数值越接近50%,表示在该指标下越难区分来源;但判断者如果总是选择同一类别,也可能得到这一数值,因此仍需结合两项正确率解读。

研究还安排了两项具体比较。其一,在图片描述任务中,用词组重合评分(BLEU)和基于共识的图像描述评分(CIDEr)衡量生成文字与人工参考描述的吻合程度,再看这些分数是否与模仿可检测性相关。其二,在视觉注意任务中,比较不同模型生成的注视轨迹,其中包括依据搜索目标引导眼动的目标引导视觉搜索网络(IVSN),以及根据图像显著特征预测注意位置的基于图的视觉显著性模型(GBVS)。这些指标和模型分别回答不同问题。



语言回答经常被误认成人类

在图片描述、词语联想和对话任务中,人类判断者正确识别AI回答的比例分别为46%、47%和47%。也就是说,这三类任务中约有一半的机器回答被判为人类。相应地,人类判断者正确识别人类回答的比例为67%、58%和66%,对两种来源的识别表现并不对称。

在相同三类任务中,接受分类训练的机器判断者正确识别AI回答的比例分别为83%、91%和67%。机器判断者在这些测试条件下识别AI回答的比例较高,但这一比较有条件限制:机器分类器使用了训练数据,而人类判断者最初没有接受同等训练;在对话任务中,机器判断者主要根据单句分类,人类则能够阅读对话片段。

研究还安排了提供反馈的训练测试。在机器分类器仅使用与人类相近数量的训练样本时,图片描述任务中人类判断者表现更好,词语联想任务中机器判断者仍占优势,对话任务中的两类判断者则较为接近。机器分类器的表现因此也与训练规模有关。


Fig. 1|六类任务中人类与机器判断者的分类结果。每组矩阵分别呈现对人类回答和AI回答的判断比例;其中三类语言任务显示,人类经常将AI回答判为人类。



图片描述准确,也可能与人的观察重点不同

研究随后比较图片描述模型的两项常规评分与模仿可检测性。结果没有显示两者存在稳定对应关系。例如,基于共识的图像描述评分与模仿可检测性的相关不显著(r = −0.088,p = 0.84)。因此,模型与标准描述更吻合,并不意味着其输出一定更难被识别为AI。

论文用一张海滩照片说明这种差别。GPT-4准确描述了男人、孩子和沙滩的位置关系;一名人类描述者则注意到画面的视觉趣味:男人的头没有出现在画面中,孩子的头看起来仿佛接在男人身上。这个例子展示了两种不同的内容选择,但单张图片无法证明AI普遍缺少某种人类知觉能力。


Fig. 2|前两幅图比较词组重合评分(BLEU)、基于共识的图像描述评分(CIDEr)与模仿可检测性的关系;海滩图片示例呈现AI和人类选择描述细节的差异。



在视觉任务中,识别结果因任务而异

根据Fig. 8的详细结果,颜色估计任务中,人类判断者正确识别AI回答的比例为61%,机器判断者为34%;物体识别任务中,两者分别为63%和72%;注意预测任务中,分别为50%和80%。因此,机器判断者在后两项任务中的识别比例较高,在颜色估计中则低于人类判断者。

同一任务内,不同模型的输出也有差别。以注意预测为例,机器判断者正确识别基于图的视觉显著性模型所生成轨迹的比例为94%,识别目标引导视觉搜索网络所生成轨迹的比例为52%。后者在这一测试中更难被辨认为机器生成,但这项结果只能说明轨迹的可识别程度,无法直接推断模型在其他视觉任务中的能力。


Fig. 3|颜色估计、物体识别与注意预测任务的详细分类结果。图中GBVS、IVSN分别对应前文介绍的两类注意预测模型。注意:原文Fig. 4与Fig. 8中颜色估计任务的机器判断者数值不一致;正文采用Fig. 8及对应结果段落的数据。



这些测试说明了什么

研究显示,AI回答的人类相似性需要在具体任务中评价。不同任务下,人类判断者识别机器回答的能力存在差异,机器分类器的表现也会改变。图片描述模型的常规评分与模仿可检测性未显示稳定对应,进一步说明任务得分和模仿能力可以提供不同信息。

研究的限制同样影响结论。两类判断者的训练条件和可利用信息并不完全一致。作者还开展了更接近原始图灵测试的交互式对话实验:在最初10段对话中,人类判断者全部辨别正确;随后换用另一模型并调整安全限制,在28名参与者完成的188次判断中,人类不再保持完全正确,较长的对话也有助于识别机器。不同模型和测试形式会改变结果。这项研究支持将人类相似性作为AI评价的独立维度,但不能据此判断AI具有与人类相同的认知过程或一般智能。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

颜小白的篮球梦
2026-11-19 19:35:40
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-20 10:16:31
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

人生录
2026-11-08 04:27:14
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

星缘生肖
2026-11-19 11:50:47
美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

锅锅爱历史
2026-10-10 14:32:55
深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

淡然小司
2026-11-19 19:35:21
短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

风过乡
2026-11-20 06:58:42
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

寒士之言本尊
2026-07-28 15:27:31
股市:大家不用等了!如无意外,股票或将历史重演

股市:大家不用等了!如无意外,股票或将历史重演

星语者056
2026-11-20 08:55:26
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

绯雨儿
2026-11-20 13:03:48
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

锐评利物浦
2026-11-19 14:40:43
《GTA6》取消招妓机制 服务情侣故事

《GTA6》取消招妓机制 服务情侣故事

3DM游戏
2026-11-19 06:10:04
欢迎晚宴合影期间,普京和特朗普互动握手

欢迎晚宴合影期间,普京和特朗普互动握手

每日经济新闻
2026-11-19 20:43:37
2026-11-20 13:44:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
时尚
本地
公开课
军事航空

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版