网易首页 > 网易号 > 正文 申请入驻

Nat Neurosci|句法边界如何改变词预测?

0
分享至


● 认知神经科学前沿文献分享

● 分享人:chase

论文信息:Constituent-constrained word prediction during language comprehension

发表时间:2026-04-21

发表期刊:Nature Neuroscience

DOI:10.1038/s41593-026-02272-6




研究背景

听人说话时,前面的内容常常让我们对后面产生预期。大语言模型也通过预测后续词学习语言,这使一个问题受到关注:人脑理解语言时,是否同样以尽可能准确地预测每一个词为核心目标?

精细预测需要保留并利用前文,而人的工作记忆和处理时间都有限。与此同时,语言具有层级结构:字词组成短语,短语进一步组成句子。短语、句子等具有内部结构的单位,称为语言成分(constituent)。比如,“飞机起飞”可以被理解为“飞机”和“起飞”两个成分,再组合成一个完整句子。构建这些结构,会不会改变我们预测下一个词的方式?

浙江大学等机构的研究团队在《Nature Neuroscience》发表的一项实证研究,结合三项中文脑磁图实验、行为预测任务和英语自然语音数据,检验了“成分约束的预测”假说:大脑对同一成分内部的词,以及跨过成分边界后的词,可能采用不同精细程度的预测。



研究设计与方法

● 如何把语言结构与词本身的难度分开?

三项脑磁图(magnetoencephalography,MEG)实验共涉及51名不同的普通话母语成人,实验一、二、三分别有17、19、19人,其中少数人参加了两项实验。中文实验把单音节、单字语素操作性地称为“词”;下文涉及中文材料时,预测单位因此具体到单个字。

参与者一边听逐字合成的语音,一边看同步出现的文字。独立合成、等间隔播放字音,消除了语调和停顿对成分边界的提示;文字则帮助区分同音字。参与者需辨认偶尔出现的语序打乱材料,以保持对语言内容的注意。

研究人员用中文GPT-2计算每个词的词惊奇度(word surprisal):模型认为一个词在当前上下文中越不可能出现,它的惊奇度就越高。随后检验,人类的猜词结果和神经信号,与这一模型指标如何对应。研究关注的是:这种对应关系,在同一成分内部与新成分开头是否同样强?如果边界处系统性减弱,就支持词预测受到结构约束。

这里存在一个关键混淆:短语或句子开头的词,通常也恰好更难预测。实验一因此同时选入两类句子:一类在短语边界后出现较难预测的词,另一类刻意让短语边界后的词较容易预测。比较两类材料,有助于区分“遇到了结构边界”和“这个词难猜”的影响。材料以每字250毫秒的速度呈现。

● 如何改变对边界的预期?

实验二把句子长度和结构固定下来,每句由两个二字成分组成,以每字300毫秒呈现。同类句子连续出现在同一区块,使成分何时结束更容易预判;另一条件把同一组短语重新排列成无法组成句子的短语序列。

实验三沿用实验二的材料和速度,将句子与不连贯短语试次混合呈现。这样,参与者对接下来是否构成完整句子的预期变得不确定,可进一步检验边界确定性的作用。

另有186名不同参与者完成行为猜词任务,比较自定步速和60、1.5、0.8秒反应时限下的预测。参与者依据已呈现的文字报告下一个字可能是什么,研究者将群体猜词概率换算为惊奇度,再与模型比较。最后,团队再分析9名参与者听自然英语播客时的皮层脑电(electrocorticography,ECoG)数据,考察结果能否延伸到另一种语言与更自然的材料。



研究发现

● 发现一:时间越紧,成分边界对预测的影响越明显

在可以自行控制进度的猜词任务中,人类预测与GPT-2预测的对应程度,在短语开头和内部没有显著差异。

随着反应时限缩短,人类与模型的对应关系在成分开头下降得更明显。研究者用“边界效应比率”概括这种差异:数值越大,表示模型惊奇度与人类预测的相关性,在成分内部相对越强。该比率在较短时限下显著升高,实验一材料的0.8秒条件也显著高于1.5秒条件。

这一结果把处理时间纳入了词预测的解释。慢慢猜词时能利用的信息,在快速、连续理解中未必能以同样方式及时发挥作用。


图1|处理时间影响行为预测。a、b分别使用实验一、二的句子材料;左侧红色、浅蓝色、深蓝色箱线分别表示成分内部、短语开头和句子开头词的人类—模型惊奇度相关,右侧为边界效应比率。横轴从自定步速依次缩短至60、1.5、0.8秒;比率上升表示位置间差异增大,并非猜词准确率下降的百分比。

● 发现二:即使词较容易预测,边界后的相关神经信号仍较弱

实验一中,脑磁信号与词惊奇度的相关在词出现后约400毫秒达到峰值。研究者将325—475毫秒窗口内的相关强度汇总为M400c,用它衡量神经反应与模型预测指标的对应程度。

结果显示,短语内部词的M400c强于新短语或新句子开头的词。这个差异在典型句和非典型句中都存在:即使边界后的词在统计上较容易预测,它的神经反应与模型惊奇度的对应仍然较弱。

语音韵律提示已被去除,边界后词的可预测性也经过操纵,结果支持语言结构参与调节词预测。这里的M400c减弱,具体指神经信号与模型惊奇度的对应变弱,不能直接换算为大脑预测准确率的变化。


图2|成分边界影响神经—模型对应。a展示惊奇度相关信号的时间过程;红色为成分内部词,浅蓝色为短语开头词,深蓝色为句首词。b为传感器位置上的信号分布,c比较不同词位置及典型、非典型材料,d展示边界效应分布。实验一共17人。

● 发现三:边界是否可预判,以及短语能否成句,都有影响

当实验二把句子结构和时长固定、分区块呈现时,边界效应比实验一更强。实验三保持相同材料和速度,却把句子与不连贯短语混合呈现后,句子条件的边界效应又显著减弱。实验二、三句子条件的平均边界效应比率分别约为0.56和0.44,差异显著。

这组比较表明,边界对预测的影响会随当前情境调整:当一个边界更容易事先确定时,跨过它之后的预测与成分内部预测,差异更加明显。

更大的句子结构也发挥作用。在实验二中,同一组短语能组合成句子时,出现明显边界效应;拆成不连贯短语序列、单独成块呈现时,效应未显著高于零。实验三混合呈现时,短语条件中也出现了边界效应。这些结果说明,上层句子组织及对它的预期,也会影响词预测。


图3|跨实验与条件的边界效应比较。五列依次为实验一句子、实验二固定结构句子、实验三混合区块中的句子、实验二独立区块中的短语、实验三混合区块中的短语。每个点代表一名参与者,横线为均值。句子条件中实验二的效应最强;短语条件仅在与句子混合时显著高于零。

● 发现四:自然英语语音中,也观察到相似边界效应

中文实验使用高度受控的视听材料。为检验这种差异是否也出现在自然语言中,研究团队再分析了已有的英语ECoG数据:9名参与者聆听约30分钟播客,研究者用GPT-2 XL计算词惊奇度,并在控制基本听觉反应后,比较句首词与非句首词的高伽马活动。

左颞上回和左额下回中,句首词的神经活动与惊奇度的对应较弱,方向与中文MEG结果一致。来自另一种语言和记录方式的证据,增强了“词预测受语言成分结构约束”这一结论的支持。


图4|英语自然叙事中的句子边界效应。a为全脑及八个脑区的相关时间过程,蓝色表示句首词、红色表示非句首词;b为电极分布及边界效应。图中全脑N=403代表电极数量,参与者为9人;阴影表示电极间标准误,曲线上方短线标记显著差异时段。



结论与启示

这项研究把词预测放回语言的层级结构中考察:同一成分内部和跨成分边界之后,人类行为与神经信号对模型惊奇度的对应存在系统差异,而且会随处理时间、边界确定性和上层句子结构改变。单独追求逐词预测的精确性,尚不足以概括这些语言加工规律。

作者提出,大脑可能在成分结束时,将细致的字词信息整合成更紧凑的语境表征,并在预测精度与处理效率之间权衡。这为边界效应提供了机制解释;本研究直接测到的是行为及神经指标随结构变化,具体的记忆压缩过程和资源节省仍需进一步检验。

研究也为比较人脑与语言模型提供了更具体的思路:除了看模型能否解释总体神经反应,还应检验这种对应如何随语言结构和时间压力变化。研究使用成人样本,并以GPT-2系列作为主要预测基准;后续可进一步比较不同人群、语言与模型,检验结构约束在不同条件下的稳定性。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
多国领导人感谢中国

多国领导人感谢中国

环球网资讯
2026-11-21 07:38:13
一手好牌打稀烂!歌坛天后跟“活佛”生下孩子,如今现状令人唏嘘

一手好牌打稀烂!歌坛天后跟“活佛”生下孩子,如今现状令人唏嘘

老吴教育课堂
2026-11-20 07:56:18
玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

木言观
2026-08-01 13:58:35
安徽两人钻洞进入烂尾楼,徒手掰撬铝合金门窗共600余斤,获利近4000元,一人劝另一人自首;法院:构成盗窃罪,两人获刑,共处罚金5000元

安徽两人钻洞进入烂尾楼,徒手掰撬铝合金门窗共600余斤,获利近4000元,一人劝另一人自首;法院:构成盗窃罪,两人获刑,共处罚金5000元

台州交通广播
2026-11-20 02:01:58
哈里梅根想借老友牵线见查尔斯,知情人:盼他在国王面前美言几句

哈里梅根想借老友牵线见查尔斯,知情人:盼他在国王面前美言几句

乡野小珥
2026-11-21 03:38:03
为什么乡镇叫党委,街道叫党工委?

为什么乡镇叫党委,街道叫党工委?

网观天下
2026-11-16 07:34:12
这一次抄底失败了,我选择离场!

这一次抄底失败了,我选择离场!

童童读财
2026-11-20 14:36:50
曾被开价一亿包养的日本前人气AV女优滨崎真绪在香港被人下药入住ICU?经纪人失职理亏拿港警当挡箭牌,网友痛批“该炒”!

曾被开价一亿包养的日本前人气AV女优滨崎真绪在香港被人下药入住ICU?经纪人失职理亏拿港警当挡箭牌,网友痛批“该炒”!

澳门月刊
2026-11-02 09:31:58
5200股普跌:是彻底完蛋,还是借机洗牌?

5200股普跌:是彻底完蛋,还是借机洗牌?

我是概念爱好者
2026-11-21 07:15:05
1-3!C罗喜忧参半:斩获生涯986球+失点惨遭逆转,无缘率队登顶!

1-3!C罗喜忧参半:斩获生涯986球+失点惨遭逆转,无缘率队登顶!

田先生篮球
2026-11-21 07:13:48
1992年十四大产生七位常委,三位新面孔格外引人注目,他们后来的人生轨迹各不相同

1992年十四大产生七位常委,三位新面孔格外引人注目,他们后来的人生轨迹各不相同

李昕言温度空间
2026-11-18 20:09:35
中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

桂系007
2026-11-20 04:06:37
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
18个账户被冻结!杭州警方发布紧急通告

18个账户被冻结!杭州警方发布紧急通告

环球网资讯
2026-11-20 19:54:08
央行湖南分行回应“长沙茶颜悦色门店被指拒收现金”:由于证据不足,无法认定门店存在拒收现金的违法行为

央行湖南分行回应“长沙茶颜悦色门店被指拒收现金”:由于证据不足,无法认定门店存在拒收现金的违法行为

王二哥老搞笑
2026-11-20 16:46:53
75岁老太旅游被骗买了一件佛陀木雕,4年后,她得了6套海景房

75岁老太旅游被骗买了一件佛陀木雕,4年后,她得了6套海景房

磊子讲史
2025-07-07 12:41:11
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
德天空:埃贝尔确认凯恩韧带撕裂,奥利塞诊断结果尚未出炉

德天空:埃贝尔确认凯恩韧带撕裂,奥利塞诊断结果尚未出炉

懂球帝
2026-11-21 06:14:07
GTA6首位韩流女歌手!被批太低俗 含跪下吞下等字眼

GTA6首位韩流女歌手!被批太低俗 含跪下吞下等字眼

游民星空
2026-11-20 17:10:26
2026-11-21 08:20:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
807文章数 25关注度
往期回顾 全部

教育要闻

孩子上了高中后,发现“鸡汤”才是最有用的教育理念

头条要闻

特朗普不支持"台独"引岛内震动 台湾网民:早点统一吧

头条要闻

特朗普不支持"台独"引岛内震动 台湾网民:早点统一吧

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
数码
艺术
本地
房产

教育要闻

求中位数,这么简单的第一题,丢分不应该啦

数码要闻

英特尔公布D270加速器成绩单 部分专业计算性能最高领先英伟达近六倍

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版