网易首页 > 网易号 > 正文 申请入驻

前沿速递 | 奖励压缩、内在奖励、多巴胺与屏状核:Nat Commun、Nat Hum Behav 等四篇新研究

0
分享至


● 认知神经科学前沿文献分享


本期介绍四篇与学习、奖励有关的新研究。前两篇是人类行为加计算建模:一篇看学习目标变多时,把目标归纳成一条简单规则能不能减轻负担;一篇看“觉得自己答得准”这种感觉,会不会像奖励一样改变下一轮视觉资源的分配。后两篇看神经信号:一篇在小鼠里同时记录多巴胺释放和 fMRI 的 BOLD 信号,看它们怎样随学习一起变化;一篇记录癫痫患者屏状核的单神经元,看它们编码了哪些和不确定性、预测误差有关的信息。



目标越多会拖慢学习,规则化能改善表现吗?

● 关键词:奖励函数压缩|目标依赖强化学习|工作记忆|目标空间|计算建模

Reward function compression facilitates goal-dependent reinforcement learning
DOI:https://doi.org/10.1038/s41467-026-78295-1
作者:Gaia Molinaro、Anne G. E. Collins
通讯作者及单位:Gaia Molinaro(University of California, Berkeley)
期刊:Nature Communications

学习新规则时,我们不只要记住哪个按键对应哪张图,还要判断眼前的反馈是不是自己想要的结果。目标越多,这个判断会不会挤占学习本身的资源?如果不同的目标可以归纳成一条简单规则,情况会不会改变?这是 Molinaro 和 Collins 想回答的问题。

参与者在线完成任务,要学会六张图片分别对应三个键。反馈有两种:Points 区块用 +1 或 +0 的积分,Goals 区块每轮先出现一对标有“目标”和“非目标”的抽象图,参与者还要按另一个键收集目标结果。实验 1 有54人,把每个 Goals 区块的目标图对数设为1到4组。即使只和最简单的单目标区块比,Goals 的学习表现也低于 Points,目标图越多,正确率越低;目标结果的辨别能力在两种反馈之间没有差别,提示困难主要出现在把反馈纳入图片和按键关系的学习过程里。

实验 2 有51人,保持目标图的数量和出现次数相同,只改变目标空间能不能被简单规则概括。Compressible 区块只要依据一个特征区分目标,Incompressible 区块则要同时考虑形状、颜色和填充,前者的学习正确率更高。练习后,奖励收集的反应时间从约422毫秒降到316毫秒,可压缩条件下降得更多,区块之间的学习差异与反应时间差异相关。把反应时间接入学习率的模型,比接入选择噪声的模型更能拟合行为,作者据此认为,瓶颈更接近结果评价和价值更新。

主文还概述了四个补充实验:目标图每轮更换时,压缩无法形成,目标学习更费力;目标图保持一致时,学习后来接近积分条件。奖励函数压缩是行为结果和计算模型共同支持的一种可能机制,反应时间与学习的关系仍然是相关,规则怎样形成、怎样转入长期记忆也没有被直接测量。样本主要是大学本科生,任务和目标材料经过高度简化。



感觉自己答得准,会让下一次视觉资源偏向同一种刺激吗?

● 关键词:内在奖励|置信度|视觉资源分配|随机点运动|强化学习

Intrinsic rewards guide visual resource allocation via reinforcement learning
DOI:https://doi.org/10.1038/s41562-026-02573-7
作者:Ivan Tomić、Rodrigo Raimundo、Paul M. Bays
通讯作者及单位:Ivan Tomić、Paul M. Bays(剑桥大学心理学系)
期刊:Nature Human Behaviour

如果一个刺激刚刚让你觉得自己答得很准,下一次再看到它,你会不会把更多视觉资源留给它?这项研究把“觉得自己答得准”当作一种内在奖励(intrinsic reward),问它会不会改变之后对同类刺激的资源分配。

研究共纳入215名成年人。每一轮,屏幕上出现两个颜色不同的随机点运动图,短暂消失后,颜色提示其中一个,参与者用鼠标复现它的运动方向。研究者用平均绝对偏差衡量误差,再用归一化神经资源模型估计两个刺激各得到多少资源。第一项实验给一种颜色的准确回答15分、另一种5分;后面的实验把一种颜色的反馈误差缩小、另一种放大,制造“容易”或“困难”的感觉,或者改变两种颜色的运动清晰度。

拿到15分的颜色,复现误差更小,模型估计它获得的资源也更多。反馈误差被缩小的颜色,复现得更准,分到的资源略多,约为另一种颜色的1.18倍;运动更清晰的颜色,资源比例在线上实验约为1.76比1,实验室同时呈现条件约为1.61比1。把刺激依次呈现后,这些差异不再明显,提示效果依赖同时编码时的竞争。这样分配资源,并没有让当前任务的总体误差最低。研究者把过去每轮的得分、反馈误差或模型推断出的内部置信度,放进强化学习规则,更新每种颜色的价值来预测下一轮资源分配,预测与直接从行为误差估计出的分配高度一致。作者据此提出,准确感和由反馈形成的容易感,都可以像奖励一样积累,推动资源偏向同一种刺激。

研究没有直接让参与者报告每一轮的置信度,而是通过反馈操纵和模型估计来近似内在奖励,结论对应的是受控的运动方向复现任务。



学会一盏灯会有水后,伏隔核的 BOLD 反应会提前吗?

● 关键词:多巴胺|伏隔核|BOLD|关联学习|功能磁共振成像|光纤光度法

Dopamine release-associated striatal blood oxygenation and whole-brain dynamics during associative learning
DOI:https://doi.org/10.1126/sciadv.aed0935
作者:Amir Lawen、Isabella K. Succi、Daniela Lichtman、Darcy S. Peterka、Ishmail J. Abdus-Saboor、Itamar Kahn
通讯作者及单位:Itamar Kahn(哥伦比亚大学)
期刊:Science Advances,2026-10-07

看到一盏灯就开始期待水,和真正喝到水,是学习里的两个时刻。功能磁共振成像(functional magnetic resonance imaging,fMRI)测到的血氧水平依赖(blood oxygenation level dependent,BOLD)信号,怎样跟着这种学习变化,还不清楚。Lawen 等人要问的是,伏隔核(nucleus accumbens,NAc)的 BOLD 反应会不会随着线索与奖励的联系形成而改变时间节奏,以及它和多巴胺释放是否同步。

18只雄性小鼠在清醒、头部固定的状态下接受扫描,连续训练10天:蓝光亮起1.5秒,1.25秒后给3微升水,同时记录舔水。部分小鼠在 NAc 里植入多巴胺荧光探针,用光纤光度法同步记录多巴胺信号。第二阶段把水量随机设为1、3或6微升,比较不同奖励量下的 BOLD 和多巴胺反应,这一阶段共有22只小鼠,其中5只没有参加前面的学习阶段。

舔水行为逐渐显示出小鼠学会了这层联系,用 S 形(sigmoid)曲线拟合预期舔水的变化,拐点平均出现在第5.75天。学习早期,NAc 拟合出的血流动力学反应,达峰时间相对奖励送出约为1秒;训练后期缩短到约0.2秒,多巴胺信号也出现了相似的时间移动。预期舔水在第3至4天已经升高,而拟合出的达峰时间当时还没有显著移动。按多巴胺瞬变大小分组后,NAc 的 BOLD 反应随多巴胺信号强弱一起变化,最佳匹配接近零延迟。变动奖励任务里,线索后早期的 BOLD 反应在三种水量间几乎相同,奖励送出2.5秒后才出现按水量分级的差异,多巴胺也呈相同顺序;把多巴胺从 BOLD 中回归掉后,不同水量之间的差异不再显著(n=10)。作者据此认为,延迟的 BOLD 变化与多巴胺相关的奖励预测密切相连。

BOLD 与多巴胺信号之间只是对应关系:研究没有操纵多巴胺,因果方向未定。BOLD 反映的是血流动力学变化,实验也只用了雄性小鼠。



人对安全位置没把握时,屏状核神经元会跟着变吗?

● 关键词:屏状核|不确定性|预测误差|前扣带皮层|颅内单神经元记录

Human claustrum neurons encode uncertainty and prediction errors during aversive learning
DOI:https://doi.org/10.1038/s41593-026-02475-x
作者:Mingyue Hu、Rodrigo Dalvit、Mauricio Medina-Pizarro、Maximilian Dougherty、Yajun Zhou、Jonathan Barreto-Nieves、Sami Obaid、Arman Afrasiyabi、Smita Krishnaswamy、Alfred P. Kaye、Murat Gönel、John H. Krystal、Kevin N. Sheth、Xiaosi Gu、Christopher P. Pittenger、Toby Wise、Eyiyemisi C. Damisah(Mingyue Hu、Rodrigo Dalvit、Mauricio Medina-Pizarro 为共同第一作者)
通讯作者及单位:Eyiyemisi C. Damisah(耶鲁大学)
期刊:Nature Neuroscience

玩一局躲陨石的游戏,难处在于提前判断上下两条通道哪一条更可能安全,手速倒在其次。安全位置会变,撞上陨石会损失飞船的完整度,下一轮要不要换位置,取决于你对当前判断有多大把握。屏状核(claustrum,CLA)会不会跟踪这种把握,以及判断和结果不一致时的预测误差(prediction error,PE),是这项研究要问的问题。

Hu、Dalvit、Medina-Pizarro 等人在耶鲁癫痫中心记录了7名难治性癫痫患者的颅内单神经元活动,其中4人有屏状核记录,同时观察前扣带皮层(anterior cingulate cortex,ACC)和杏仁核。参与者操控飞船沿纵轴移动,躲避从两侧逼近的小行星。上下两个安全区的安全概率,在20—80个试次的区块里维持在90%或10%,再随机翻转,参与者要在小行星出现前,根据已经经历的结果调整位置。研究者用近似贝叶斯模型逐试次估计安全概率,把概率分布的后验方差作为主观不确定性,把实际结果与估计安全概率的绝对差作为 PE。

110个 CLA 神经元中,78个在小行星出现、躲避或撞击等任务事件附近改变放电,反应峰值早于 ACC。在按高低分位分组比较的量化分析里,31个 CLA 神经元(28.2%)在不确定性高的试次中放电更强,25个(22.7%)在预测误差大的试次中放电更强;ACC 则有17个神经元在不确定性低时放电更强,试次间隔期也是如此。另一种条件互信息(conditional mutual information,CMI)分析把飞船位置、安全区身份和行动结果作为任务变量加以控制,躲避期有10个 CLA 神经元与不确定性相关(与随机水平比较的单侧二项检验,P=0.049);与预测误差相关的7个(P=0.312)、试次间隔期与不确定性相关的4个(P=0.806),以及 ACC 在试次间隔期与不确定性相关的6个(P=0.151),都没有超过随机水平。杏仁核在这项任务里的潜变量调制很少。作者据此提出,ACC 可能在下一轮开始前维持对信念可靠性的监测,CLA 则在需要快速躲避、结果即将揭晓时,跟踪不确定性和预期偏差。

关于 ACC 和 CLA 时间模式的这一解释,研究没有操纵这两个区域,不能据此建立因果关系。不确定性和 PE 在这个任务里本来就相互关联,CMI 分析虽然控制了飞船位置、安全区身份和行动结果,仍不能判断单个神经元是在独立编码其中之一,还是对二者的组合有反应。模型是行为数据上的近似推断,不等于大脑实际执行同一套算法,样本来自癫痫患者,结论只适用于被记录到的这批神经元。

分享人:天天
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接,查看对应原文。

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

颜小白的篮球梦
2026-11-19 19:35:40
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-20 10:16:31
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

人生录
2026-11-08 04:27:14
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

星缘生肖
2026-11-19 11:50:47
美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

锅锅爱历史
2026-10-10 14:32:55
深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

淡然小司
2026-11-19 19:35:21
短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

风过乡
2026-11-20 06:58:42
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

寒士之言本尊
2026-07-28 15:27:31
股市:大家不用等了!如无意外,股票或将历史重演

股市:大家不用等了!如无意外,股票或将历史重演

星语者056
2026-11-20 08:55:26
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

绯雨儿
2026-11-20 13:03:48
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

锐评利物浦
2026-11-19 14:40:43
《GTA6》取消招妓机制 服务情侣故事

《GTA6》取消招妓机制 服务情侣故事

3DM游戏
2026-11-19 06:10:04
欢迎晚宴合影期间,普京和特朗普互动握手

欢迎晚宴合影期间,普京和特朗普互动握手

每日经济新闻
2026-11-19 20:43:37
2026-11-20 13:44:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

艺术
手机
教育
时尚
本地

艺术要闻

2026第七届民族美术作品展 油画选一

手机要闻

三星手机换帅了!崔元俊正式上位,卢泰文交出MX事业部大权

教育要闻

你认识boat,但未必认识“划船”的boat

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版