网易首页 > 网易号 > 正文 申请入驻

arXiv精选 | 有了AI帮助,我们还能准确判断自己的能力吗?

0
分享至


● 认知神经科学前沿文献分享


AI 能帮助人更快完成任务,却不一定让人更清楚自己会什么、答得怎样。下面四项 arXiv 预印本分别考察 AI 建议、辅助编程、元认知提示和学习反馈对判断与学习的影响。所选论文截至原稿检索时尚未查到对应正式发表版本,以下 DOI 均为预印本 DOI;相关结论仍需结合研究设计和后续验证理解。



01|有了 AI 的答案,我们还会说“我不知道”吗?

关键词:判断保留|错误建议|认知信心|准确性激励|元认知

论文:AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized

DOI:10.48550/arXiv.2607.13562

作者:Chiara Marcoccia、Walter Quattrociocchi、Valerio Capraro

通讯作者及单位:Valerio Capraro;意大利米兰比可卡大学(原稿标注为联系作者)

预印本版本:2026-07-15 · arXiv v1|原文与全文|本地 PDF


核心图|可获得 AI 建议时,参与者更少保留判断(左),回答信心更高(右)。粉色、蓝绿色分别表示无、有金钱奖惩;点与误差线为均值及 95% 置信区间。摘自原稿图 2a–b,第 7 页。

面对一道拿不准的问题,我们可以尝试作答,也可以承认“我不知道”。但当聊天机器人给出流畅的解释后,原本的犹豫可能很快消失。一个值得追问的问题是:AI 是否改变了我们判断“自己已经知道得足够多”的门槛?

巴黎高等师范学校、罗马第一大学和米兰比可卡大学的研究团队在 arXiv 发布预印本,通过五项实验考察这一变化,共纳入 3,132 名参与者,其中四项实验经过预注册。参与者回答较难的电影知识问题,始终可以选择不作答。研究者特意挑选了 AI 容易答错的问题,并比较没有 AI、可以主动求助 AI,以及直接看到 AI 建议等情境。

结果显示,AI 建议的可获得性显著降低了参与者保留判断的比例。在一项包含信心评分的实验中,无金钱奖惩时,这一比例从约 17% 降至 1%,平均信心却从 29.6 分升至 75.9 分,回答正确率同时下降。后续实验发现,奖励答对、惩罚答错能够减少对 AI 的依赖,但未让保留判断恢复到没有 AI 时的水平。

这项研究提示,AI 可能影响人们何时愿意承认不确定。由于实验刻意使用了 AI 大多答错的问题,结果尚不能直接推广到通常可靠的 AI 场景,也不能证明参与者原有知识已经退化。它提出的是一个更具体的风险:在没有充分依据时,人可能更愿意给出一个确定答案。



02|代码写得更好,为什么留下的记忆更少?

关键词:AI 辅助编程|任务表现|知识保持|贡献归属|计算机教育

论文:Your Programming Students' Cognition with ChatGPT: Higher Performance, Lower Retention, and Reduced Ownership

DOI:10.48550/arXiv.2609.21194

作者:Christian Bergh、Benjamin Tag、Alexandra Vassar、Jake Renzella

通讯作者及单位:原稿未单独标注通讯作者;四位作者均来自澳大利亚新南威尔士大学

预印本版本:2026-09-18 · arXiv v1|原文与全文|本地 PDF


核心图|AI 组代码成绩更高(左),但即时及 48 小时后的回忆测验成绩较低(右)。摘自原稿图 2、图 3,第 8 页;两图并排呈现,保留原始坐标与数据。

借助 ChatGPT 写出能运行的代码,已经成为许多学生完成作业的方式。但一份高分作业,能在多大程度上代表学生已经掌握其中的知识?当答案由人与 AI 共同完成时,作品的质量、自己记住的内容,以及对个人贡献的判断,可能出现分离。

澳大利亚新南威尔士大学的研究团队在 arXiv 发布预印本,比较 ChatGPT 辅助与普通网络搜索两种条件下的编程学习。研究招募 59 名计算机专业本科生,最终分析 55 人的数据。学生完成三道入门级 C 语言编程题,随后在任务结束时及 48 小时后接受回忆测验;对照组可以搜索网页,但不能使用生成式 AI。

结果显示,ChatGPT 组的代码成绩为 89%,高于对照组的 69%;但即时回忆成绩为 41%,低于对照组的 53%,48 小时后仍为 39% 对 52%。两组在这 48 小时内的遗忘幅度没有显著差异,说明观察到的差距在任务结束时已经存在。学生主观认为由自己贡献的代码比例也更低,约为 45%,对照组约为 81%。

这项研究提醒我们,评估 AI 辅助学习时,需要同时观察完成质量和离开工具后保留的知识。贡献归属是学生的主观报告,并非对真实能力的直接测量;回忆测验也不能代表全部编程能力。此次短期、小样本实验揭示了表现与知识保持之间的差距,尚不足以判断长期能力是否退化。



03|怎样让人更准确地判断自己答得好不好?

关键词:元认知监测|信心校准|可靠性提示|对照回答|人机协作

论文:Beyond “ChatGPT Can Make Mistakes”: Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work

DOI:10.48550/arXiv.2609.17065

作者:Manuel A. D. Santos、Paul Thiesse、Steeven Villa 等

通讯作者及单位:原稿未单独标注通讯作者;作者单位包括芬兰阿尔托大学、德国慕尼黑大学(LMU)

预印本版本:2026-09-15 · arXiv v1|原文与全文|本地 PDF


核心图|四种干预相对普通助手的效果。前三列依次为表现估计误差、答对与答错时的信心差、实际得分;点与误差线为效应量及 95% 置信区间。摘自原稿图 10,第 19 页。

使用 AI 完成一组问题后,我们可能感觉自己表现不错,却难以准确估计究竟答对了多少。界面上的一句“AI 可能犯错”,也没有告诉用户应该检查什么。研究者因此追问:怎样设计具体提示,才能帮助人更准确地评价自己与 AI 共同完成的结果?

阿尔托大学和慕尼黑大学的团队在 arXiv 发布预印本,先访谈 11 名专家,整理出 30 种干预思路,再招募 917 名参与者完成 12 道规划与组织类问题。实验比较四种设计:展示助手可靠性及核查策略的卡片、让用户比较不同回答、在交互中设置暂停环节,以及题后反思,并以普通 AI 助手为基线。

结果显示,可靠性卡片和对照回答能减少参与者对整体成绩的估计误差与过度自信。在基线条件下,参与者平均误判约 4.42 道题;这两种干预分别使误差减少约一道和一道半。两组在答对与答错时的平均信心差也有所扩大。不过,研究没有发现相应的任务成绩提高,也没有确立同一道题内识别对错能力的平均改善。

这意味着,让人更清楚自己表现如何,本身可以成为 AI 设计的目标,但它与提高答题能力需要分别评估。这里测量的是人机协作任务中的自我评价,尚未证明用户更了解脱离 AI 后的独立能力。结果为改善自我判断提供了方向,也显示出“知道自己做得怎样”和“真正做得更好”之间仍有距离。



04|看见自己把哪些步骤交给 AI,能改善学习吗?

关键词:认知外包|元认知反馈|独立测验|求助方式|技能学习

论文:Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants

DOI:10.48550/arXiv.2609.20143

作者:Sebastian Maier、Kai Schwabe(共同第一作者)、Manuel Schneider、Stefan Feuerriegel

通讯作者及单位:原稿未单独标注通讯作者;作者单位为德国慕尼黑大学及慕尼黑机器学习中心(MCML)

预印本版本:2026-09-17 · arXiv v1|原文与全文|本地 PDF


核心图|参与者可选择提示或完整答案;研究比较使用反馈与积分奖励,随后测量没有 AI 时的答题表现。原稿图 1,第 1 页。图中示意答题记录不代表实际正确率。

看到一道题的完整解法,很容易产生“我懂了”的感觉。但读过步骤之后,能否自己再做一遍,仍需检验。如果系统让用户看见哪些步骤由自己完成、哪些交给了 AI,是否能改变接下来的求助方式?

慕尼黑大学及慕尼黑机器学习中心的团队在 arXiv 发布预印本,开展了一项包含 704 人的预注册在线实验。参与者练习分数运算,AI 默认提供思路,在明确请求后才给出完整答案。研究者测试两种干预:反馈用户此前索取帮助的程度及其学习含义;以积分奖励较少依赖 AI 的做法。练习后,所有人完成无 AI 辅助的测验。

按照预注册的单侧检验,反馈减少了索取完整答案的行为,并提高了后续独立测验表现;单纯的积分奖励未显示出这两方面的效果。不过,效应估计仍有不确定性,尚需重复验证。研究也没有发现仅使用 AI 的组在独立测验中显著差于无 AI 对照组,反馈对自我判断准确度的改善同样未获支持。

这些结果提示,求助方式可以通过具体反馈来调整,而学习表现与自我判断未必同步变化。对于“哪些其实是我自己会的”这个问题,下一步仍需检验:用户是否能够把反馈转化为稳定的练习习惯,并在更长时间、更多任务中保持独立能力。单次实验尚不能证明这种设计能防止长期技能退化。



从完成任务到判断能力:四项预印本的共同问题

四项研究从不同角度指出,AI 介入后的任务表现、知识保持、自我评价和独立能力并不能互相替代。AI 建议可能降低保留判断的意愿;辅助编程可能提高作品成绩,却未同步提高回忆表现;面向元认知的提示可以改善部分自我评价指标;具体反馈也可能改变求助方式并影响独立测验表现。它们共同提示,评估 AI 辅助效果时,需要明确测量的是眼前任务、对知识的保持,还是离开 AI 后的判断与表现。

预印本提示:本文涉及的 4 项研究均为 arXiv 预印本,尚未完成同行评议,正式发表版本中的样本、分析与结论可能发生变化。

分享人:Chase
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接,查看对应原文。

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

赛场速报局
2026-11-20 00:17:13
哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

译言
2026-11-20 08:03:37
这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

果妈聊娱乐
2026-11-20 09:45:59
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

夜深爱杂谈
2026-10-31 21:24:43
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

李光满说
2026-11-19 20:25:37
传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

雷峰网
2026-11-19 18:40:57
张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

勺哥乡村味道
2026-11-17 20:38:41
上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

红豆讲堂
2025-04-14 12:25:10
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

福酱的小时光
2026-11-20 11:46:20
最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

爱尔爱电影
2026-11-20 08:40:50
中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

回京历史梦
2026-09-30 18:24:01
神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

环球科学猫
2026-11-20 10:46:09
没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

学术眺望
2026-11-19 10:00:03
没有库里,联盟垫底

没有库里,联盟垫底

只关于篮球
2026-11-20 13:08:05
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

古书奇谈
2026-11-19 12:22:04
不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

朗威谈星座
2026-11-20 07:53:25
2026-11-20 13:24:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
本地
亲子
手机
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版