网易首页 > 网易号 > 正文 申请入驻

Nat Hum Behav|AI回答有多像人?六类任务显示人机识别的差异

0
分享至


● 认知神经科学前沿文献分享

● 分享人:小虎

论文信息:Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI

发表时间:2026-10-26

发表期刊:Nature Human Behaviour

DOI:10.1038/s41562-026-02590-6


如果你看到一段描述图片的文字,画面中的人物和物体都说得准确,表达也很自然,你能判断它来自人类还是AI吗?换成一段日常对话,或者给出提示词后的联想回答,判断又会不会更容易?随着AI能够完成越来越多的语言与视觉任务,一个问题也值得检验:AI生成的回答与人类有多相似,人们又能在多大程度上识别这种差异?

Mengmi Zhang等人在《Nature Human Behaviour》发表的一项研究中,收集了636名人类参与者和37个AI模型在六类语言与视觉任务中产生的36,499条回答。随后,研究者开展72,191次类似图灵测试,让1,916名人类判断者和10个AI判断者辨别回答来自人类还是AI,以比较两类判断者的识别表现,并评估AI在不同任务中模仿人类回答的能力。



为什么要检验回答是否像人

通常,AI模型的表现会通过它与参考答案的吻合程度来评价。例如,一张图片可以被准确描述为“有人坐在沙滩上”,但不同观察者也可能关注人物的姿态或画面中的特殊细节。对于图片描述、词语联想和对话等开放任务,答案合理与表达方式接近人类是两个需要分别考察的问题。

图灵测试提供了一个思路:让判断者根据回答判断其来源。本文将这一思路扩展为类似图灵测试。在具体测试中,判断者看到任务材料及一份回答,再选择回答来自人类还是机器。研究关注特定任务中的模仿表现,并不把这种判断直接等同于对一般智能的测量。



六类任务,两种判断者

研究设置了三类语言任务:描述图片、根据提示词联想一个词,以及参与日常对话。另三类属于视觉任务:指出图片的主要颜色、列出画面中的物体,以及预测观看图片时眼睛依次注视的位置。最后一项通过人类眼动记录与模型生成的注视轨迹进行比较,涉及自由观看和寻找目标物体等情境。

人类判断者根据呈现的材料辨别来源。研究者还让机器担当判断者,其中主要比较采用经过训练的分类器,利用文字特征、图像信息或注视位置辨别来源;部分实验也直接使用大语言模型判断。为便于比较,研究分别报告正确识别人类回答和正确识别AI回答的比例,再将两者取平均,得到模仿可检测性。数值越接近50%,表示在该指标下越难区分来源;但判断者如果总是选择同一类别,也可能得到这一数值,因此仍需结合两项正确率解读。

研究还安排了两项具体比较。其一,在图片描述任务中,用词组重合评分(BLEU)和基于共识的图像描述评分(CIDEr)衡量生成文字与人工参考描述的吻合程度,再看这些分数是否与模仿可检测性相关。其二,在视觉注意任务中,比较不同模型生成的注视轨迹,其中包括依据搜索目标引导眼动的目标引导视觉搜索网络(IVSN),以及根据图像显著特征预测注意位置的基于图的视觉显著性模型(GBVS)。这些指标和模型分别回答不同问题。



语言回答经常被误认成人类

在图片描述、词语联想和对话任务中,人类判断者正确识别AI回答的比例分别为46%、47%和47%。也就是说,这三类任务中约有一半的机器回答被判为人类。相应地,人类判断者正确识别人类回答的比例为67%、58%和66%,对两种来源的识别表现并不对称。

在相同三类任务中,接受分类训练的机器判断者正确识别AI回答的比例分别为83%、91%和67%。机器判断者在这些测试条件下识别AI回答的比例较高,但这一比较有条件限制:机器分类器使用了训练数据,而人类判断者最初没有接受同等训练;在对话任务中,机器判断者主要根据单句分类,人类则能够阅读对话片段。

研究还安排了提供反馈的训练测试。在机器分类器仅使用与人类相近数量的训练样本时,图片描述任务中人类判断者表现更好,词语联想任务中机器判断者仍占优势,对话任务中的两类判断者则较为接近。机器分类器的表现因此也与训练规模有关。


Fig. 1|六类任务中人类与机器判断者的分类结果。每组矩阵分别呈现对人类回答和AI回答的判断比例;其中三类语言任务显示,人类经常将AI回答判为人类。



图片描述准确,也可能与人的观察重点不同

研究随后比较图片描述模型的两项常规评分与模仿可检测性。结果没有显示两者存在稳定对应关系。例如,基于共识的图像描述评分与模仿可检测性的相关不显著(r = −0.088,p = 0.84)。因此,模型与标准描述更吻合,并不意味着其输出一定更难被识别为AI。

论文用一张海滩照片说明这种差别。GPT-4准确描述了男人、孩子和沙滩的位置关系;一名人类描述者则注意到画面的视觉趣味:男人的头没有出现在画面中,孩子的头看起来仿佛接在男人身上。这个例子展示了两种不同的内容选择,但单张图片无法证明AI普遍缺少某种人类知觉能力。


Fig. 2|前两幅图比较词组重合评分(BLEU)、基于共识的图像描述评分(CIDEr)与模仿可检测性的关系;海滩图片示例呈现AI和人类选择描述细节的差异。



在视觉任务中,识别结果因任务而异

根据Fig. 8的详细结果,颜色估计任务中,人类判断者正确识别AI回答的比例为61%,机器判断者为34%;物体识别任务中,两者分别为63%和72%;注意预测任务中,分别为50%和80%。因此,机器判断者在后两项任务中的识别比例较高,在颜色估计中则低于人类判断者。

同一任务内,不同模型的输出也有差别。以注意预测为例,机器判断者正确识别基于图的视觉显著性模型所生成轨迹的比例为94%,识别目标引导视觉搜索网络所生成轨迹的比例为52%。后者在这一测试中更难被辨认为机器生成,但这项结果只能说明轨迹的可识别程度,无法直接推断模型在其他视觉任务中的能力。


Fig. 3|颜色估计、物体识别与注意预测任务的详细分类结果。图中GBVS、IVSN分别对应前文介绍的两类注意预测模型。注意:原文Fig. 4与Fig. 8中颜色估计任务的机器判断者数值不一致;正文采用Fig. 8及对应结果段落的数据。



这些测试说明了什么

研究显示,AI回答的人类相似性需要在具体任务中评价。不同任务下,人类判断者识别机器回答的能力存在差异,机器分类器的表现也会改变。图片描述模型的常规评分与模仿可检测性未显示稳定对应,进一步说明任务得分和模仿能力可以提供不同信息。

研究的限制同样影响结论。两类判断者的训练条件和可利用信息并不完全一致。作者还开展了更接近原始图灵测试的交互式对话实验:在最初10段对话中,人类判断者全部辨别正确;随后换用另一模型并调整安全限制,在28名参与者完成的188次判断中,人类不再保持完全正确,较长的对话也有助于识别机器。不同模型和测试形式会改变结果。这项研究支持将人类相似性作为AI评价的独立维度,但不能据此判断AI具有与人类相同的认知过程或一般智能。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

赛场速报局
2026-11-20 00:17:13
哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

译言
2026-11-20 08:03:37
这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

果妈聊娱乐
2026-11-20 09:45:59
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

夜深爱杂谈
2026-10-31 21:24:43
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

李光满说
2026-11-19 20:25:37
传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

雷峰网
2026-11-19 18:40:57
张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

勺哥乡村味道
2026-11-17 20:38:41
上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

红豆讲堂
2025-04-14 12:25:10
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

福酱的小时光
2026-11-20 11:46:20
最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

爱尔爱电影
2026-11-20 08:40:50
中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

回京历史梦
2026-09-30 18:24:01
神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

环球科学猫
2026-11-20 10:46:09
没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

学术眺望
2026-11-19 10:00:03
没有库里,联盟垫底

没有库里,联盟垫底

只关于篮球
2026-11-20 13:08:05
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

古书奇谈
2026-11-19 12:22:04
不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

朗威谈星座
2026-11-20 07:53:25
2026-11-20 13:24:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
旅游
本地
公开课
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版