网易首页 > 网易号 > 正文 申请入驻

arXiv精选 | 有了AI帮助,我们还能准确判断自己的能力吗?

0
分享至


● 认知神经科学前沿文献分享


AI 能帮助人更快完成任务,却不一定让人更清楚自己会什么、答得怎样。下面四项 arXiv 预印本分别考察 AI 建议、辅助编程、元认知提示和学习反馈对判断与学习的影响。所选论文截至原稿检索时尚未查到对应正式发表版本,以下 DOI 均为预印本 DOI;相关结论仍需结合研究设计和后续验证理解。



01|有了 AI 的答案,我们还会说“我不知道”吗?

关键词:判断保留|错误建议|认知信心|准确性激励|元认知

论文:AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized

DOI:10.48550/arXiv.2607.13562

作者:Chiara Marcoccia、Walter Quattrociocchi、Valerio Capraro

通讯作者及单位:Valerio Capraro;意大利米兰比可卡大学(原稿标注为联系作者)

预印本版本:2026-07-15 · arXiv v1|原文与全文|本地 PDF


核心图|可获得 AI 建议时,参与者更少保留判断(左),回答信心更高(右)。粉色、蓝绿色分别表示无、有金钱奖惩;点与误差线为均值及 95% 置信区间。摘自原稿图 2a–b,第 7 页。

面对一道拿不准的问题,我们可以尝试作答,也可以承认“我不知道”。但当聊天机器人给出流畅的解释后,原本的犹豫可能很快消失。一个值得追问的问题是:AI 是否改变了我们判断“自己已经知道得足够多”的门槛?

巴黎高等师范学校、罗马第一大学和米兰比可卡大学的研究团队在 arXiv 发布预印本,通过五项实验考察这一变化,共纳入 3,132 名参与者,其中四项实验经过预注册。参与者回答较难的电影知识问题,始终可以选择不作答。研究者特意挑选了 AI 容易答错的问题,并比较没有 AI、可以主动求助 AI,以及直接看到 AI 建议等情境。

结果显示,AI 建议的可获得性显著降低了参与者保留判断的比例。在一项包含信心评分的实验中,无金钱奖惩时,这一比例从约 17% 降至 1%,平均信心却从 29.6 分升至 75.9 分,回答正确率同时下降。后续实验发现,奖励答对、惩罚答错能够减少对 AI 的依赖,但未让保留判断恢复到没有 AI 时的水平。

这项研究提示,AI 可能影响人们何时愿意承认不确定。由于实验刻意使用了 AI 大多答错的问题,结果尚不能直接推广到通常可靠的 AI 场景,也不能证明参与者原有知识已经退化。它提出的是一个更具体的风险:在没有充分依据时,人可能更愿意给出一个确定答案。



02|代码写得更好,为什么留下的记忆更少?

关键词:AI 辅助编程|任务表现|知识保持|贡献归属|计算机教育

论文:Your Programming Students' Cognition with ChatGPT: Higher Performance, Lower Retention, and Reduced Ownership

DOI:10.48550/arXiv.2609.21194

作者:Christian Bergh、Benjamin Tag、Alexandra Vassar、Jake Renzella

通讯作者及单位:原稿未单独标注通讯作者;四位作者均来自澳大利亚新南威尔士大学

预印本版本:2026-09-18 · arXiv v1|原文与全文|本地 PDF


核心图|AI 组代码成绩更高(左),但即时及 48 小时后的回忆测验成绩较低(右)。摘自原稿图 2、图 3,第 8 页;两图并排呈现,保留原始坐标与数据。

借助 ChatGPT 写出能运行的代码,已经成为许多学生完成作业的方式。但一份高分作业,能在多大程度上代表学生已经掌握其中的知识?当答案由人与 AI 共同完成时,作品的质量、自己记住的内容,以及对个人贡献的判断,可能出现分离。

澳大利亚新南威尔士大学的研究团队在 arXiv 发布预印本,比较 ChatGPT 辅助与普通网络搜索两种条件下的编程学习。研究招募 59 名计算机专业本科生,最终分析 55 人的数据。学生完成三道入门级 C 语言编程题,随后在任务结束时及 48 小时后接受回忆测验;对照组可以搜索网页,但不能使用生成式 AI。

结果显示,ChatGPT 组的代码成绩为 89%,高于对照组的 69%;但即时回忆成绩为 41%,低于对照组的 53%,48 小时后仍为 39% 对 52%。两组在这 48 小时内的遗忘幅度没有显著差异,说明观察到的差距在任务结束时已经存在。学生主观认为由自己贡献的代码比例也更低,约为 45%,对照组约为 81%。

这项研究提醒我们,评估 AI 辅助学习时,需要同时观察完成质量和离开工具后保留的知识。贡献归属是学生的主观报告,并非对真实能力的直接测量;回忆测验也不能代表全部编程能力。此次短期、小样本实验揭示了表现与知识保持之间的差距,尚不足以判断长期能力是否退化。



03|怎样让人更准确地判断自己答得好不好?

关键词:元认知监测|信心校准|可靠性提示|对照回答|人机协作

论文:Beyond “ChatGPT Can Make Mistakes”: Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work

DOI:10.48550/arXiv.2609.17065

作者:Manuel A. D. Santos、Paul Thiesse、Steeven Villa 等

通讯作者及单位:原稿未单独标注通讯作者;作者单位包括芬兰阿尔托大学、德国慕尼黑大学(LMU)

预印本版本:2026-09-15 · arXiv v1|原文与全文|本地 PDF


核心图|四种干预相对普通助手的效果。前三列依次为表现估计误差、答对与答错时的信心差、实际得分;点与误差线为效应量及 95% 置信区间。摘自原稿图 10,第 19 页。

使用 AI 完成一组问题后,我们可能感觉自己表现不错,却难以准确估计究竟答对了多少。界面上的一句“AI 可能犯错”,也没有告诉用户应该检查什么。研究者因此追问:怎样设计具体提示,才能帮助人更准确地评价自己与 AI 共同完成的结果?

阿尔托大学和慕尼黑大学的团队在 arXiv 发布预印本,先访谈 11 名专家,整理出 30 种干预思路,再招募 917 名参与者完成 12 道规划与组织类问题。实验比较四种设计:展示助手可靠性及核查策略的卡片、让用户比较不同回答、在交互中设置暂停环节,以及题后反思,并以普通 AI 助手为基线。

结果显示,可靠性卡片和对照回答能减少参与者对整体成绩的估计误差与过度自信。在基线条件下,参与者平均误判约 4.42 道题;这两种干预分别使误差减少约一道和一道半。两组在答对与答错时的平均信心差也有所扩大。不过,研究没有发现相应的任务成绩提高,也没有确立同一道题内识别对错能力的平均改善。

这意味着,让人更清楚自己表现如何,本身可以成为 AI 设计的目标,但它与提高答题能力需要分别评估。这里测量的是人机协作任务中的自我评价,尚未证明用户更了解脱离 AI 后的独立能力。结果为改善自我判断提供了方向,也显示出“知道自己做得怎样”和“真正做得更好”之间仍有距离。



04|看见自己把哪些步骤交给 AI,能改善学习吗?

关键词:认知外包|元认知反馈|独立测验|求助方式|技能学习

论文:Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants

DOI:10.48550/arXiv.2609.20143

作者:Sebastian Maier、Kai Schwabe(共同第一作者)、Manuel Schneider、Stefan Feuerriegel

通讯作者及单位:原稿未单独标注通讯作者;作者单位为德国慕尼黑大学及慕尼黑机器学习中心(MCML)

预印本版本:2026-09-17 · arXiv v1|原文与全文|本地 PDF


核心图|参与者可选择提示或完整答案;研究比较使用反馈与积分奖励,随后测量没有 AI 时的答题表现。原稿图 1,第 1 页。图中示意答题记录不代表实际正确率。

看到一道题的完整解法,很容易产生“我懂了”的感觉。但读过步骤之后,能否自己再做一遍,仍需检验。如果系统让用户看见哪些步骤由自己完成、哪些交给了 AI,是否能改变接下来的求助方式?

慕尼黑大学及慕尼黑机器学习中心的团队在 arXiv 发布预印本,开展了一项包含 704 人的预注册在线实验。参与者练习分数运算,AI 默认提供思路,在明确请求后才给出完整答案。研究者测试两种干预:反馈用户此前索取帮助的程度及其学习含义;以积分奖励较少依赖 AI 的做法。练习后,所有人完成无 AI 辅助的测验。

按照预注册的单侧检验,反馈减少了索取完整答案的行为,并提高了后续独立测验表现;单纯的积分奖励未显示出这两方面的效果。不过,效应估计仍有不确定性,尚需重复验证。研究也没有发现仅使用 AI 的组在独立测验中显著差于无 AI 对照组,反馈对自我判断准确度的改善同样未获支持。

这些结果提示,求助方式可以通过具体反馈来调整,而学习表现与自我判断未必同步变化。对于“哪些其实是我自己会的”这个问题,下一步仍需检验:用户是否能够把反馈转化为稳定的练习习惯,并在更长时间、更多任务中保持独立能力。单次实验尚不能证明这种设计能防止长期技能退化。



从完成任务到判断能力:四项预印本的共同问题

四项研究从不同角度指出,AI 介入后的任务表现、知识保持、自我评价和独立能力并不能互相替代。AI 建议可能降低保留判断的意愿;辅助编程可能提高作品成绩,却未同步提高回忆表现;面向元认知的提示可以改善部分自我评价指标;具体反馈也可能改变求助方式并影响独立测验表现。它们共同提示,评估 AI 辅助效果时,需要明确测量的是眼前任务、对知识的保持,还是离开 AI 后的判断与表现。

预印本提示:本文涉及的 4 项研究均为 arXiv 预印本,尚未完成同行评议,正式发表版本中的样本、分析与结论可能发生变化。

分享人:Chase
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接,查看对应原文。

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

颜小白的篮球梦
2026-11-19 19:35:40
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-20 10:16:31
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

人生录
2026-11-08 04:27:14
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

星缘生肖
2026-11-19 11:50:47
美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

锅锅爱历史
2026-10-10 14:32:55
深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

淡然小司
2026-11-19 19:35:21
短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

风过乡
2026-11-20 06:58:42
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

寒士之言本尊
2026-07-28 15:27:31
股市:大家不用等了!如无意外,股票或将历史重演

股市:大家不用等了!如无意外,股票或将历史重演

星语者056
2026-11-20 08:55:26
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

绯雨儿
2026-11-20 13:03:48
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

锐评利物浦
2026-11-19 14:40:43
《GTA6》取消招妓机制 服务情侣故事

《GTA6》取消招妓机制 服务情侣故事

3DM游戏
2026-11-19 06:10:04
欢迎晚宴合影期间,普京和特朗普互动握手

欢迎晚宴合影期间,普京和特朗普互动握手

每日经济新闻
2026-11-19 20:43:37
2026-11-20 13:44:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

旅游
游戏
本地
时尚
公开课

旅游要闻

约雄冰川的生态密码

《GTA6》广告遭网友解读 疑似调侃动保团体与漫威

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版