![]()
● 认知神经科学前沿文献分享
论文信息:Time after time: neural codes of speech comprehension
发表时间:2026-10-04
发表期刊:Trends in Cognitive Science
![]()
![]()
导读
当我们听别人说话时,声音会不断进入耳朵,又迅速消失。然而,我们并不会因为前一个音节已经结束,就无法理解下一个词;也不会因为一句话还没说完,就完全无法判断它的意思。
恰恰相反,我们能够把连续的声音组织成词语、句子乃至完整的意义。即使一句话中途出现歧义,我们有时还能利用后续的信息,重新理解先前听到的内容。
这看似自然的过程,其实提出了一个重要的认知神经科学问题:
当语言信号不断向前流动时,大脑如何保留、组织并整合那些已经消失的声音信息?
2026 年10月发表于 Trends in Cognitive Sciences 的综述论文 Time after time: neural codes of speech comprehension(作者为来自斯坦福大学的 Laura Gwilliams),围绕这一问题梳理了语音理解研究中的重要发现,并提出一个理解大脑语言加工的理论框架,由三种神经编码构成——持续性编码(persistent encoding)、并行性编码(parallel encoding)和时间戳编码(time-stamped encoding)。
这三个特征分别回答了三个问题:我们听到的语音信息能保留多久?大脑能同时处理多少信息?大脑又如何知道这些信息在时间上处于什么位置?
![]()
持续性编码:声音消失了,信息还在吗?
● 1. 语言理解为什么需要“留住过去”?
假设有人对你说:“我昨天在书店买了一本……”
此时,你可能已经开始猜测接下来会出现什么词。等到对方说出“小说”时,你不仅听到了一个新词,还需要将它与之前的“我昨天”“在书店”“买了一本”等信息联系起来,才能理解整句话。
这意味着,语言理解不能只依赖当下正在到达耳朵的声音。大脑还需要利用先前输入的信息。但声音本身是短暂的。一个语音片段可能只持续几十毫秒,随后就被新的声音覆盖。如果相关神经信息也随着声音立即消失,连续的语言理解将难以实现。
因此,第一个问题是:语言输入结束之后,与它有关的神经信息还能持续多久?
● 2. 神经信息的持续时间,可能远超声音本身
论文梳理的研究表明,与语音相关的信息在神经活动中可以持续存在,且持续时间会随信息的性质而变化。例如,某些与音素有关的特征,即使在对应的语音片段结束约 400 毫秒后,仍可能从神经活动中被解码出来;在连续故事理解中,与词汇、语义或句法有关的信息,有时在对应词语结束后 1—2 秒仍然可以被解码。这里的“被解码”是一个关键概念:研究者可以利用神经信号,判断某种语言信息是否仍然包含在大脑活动中。
不过,这并不意味着大脑会把声音原封不动地储存起来,也不意味着这些信息始终以同一种形式存在。“持续性编码”指的是,输入信号已经结束,并不代表与该信号相关的神经信息立即消失。
这种持续性使大脑能够跨越时间,将不同部分的语言输入联系起来。
![]()
图1|语音以短暂的声学信号形式展开,其中每个语言元素都只能在短时间内被感知。然而,神经表征能够持续存在,其持续时间超出产生这些表征的声学事件本身。随着连续词语被逐一听到,先前语言元素的神经编码仍然持续存在,从而形成一段延伸至过去、保留近期语音输入信息的神经记录。这种持续性使后续到达的信息能够与先前信息相互作用,并修正对早先输入的解释,为消除歧义以及跨时间整合信息提供了可能(图源:原论文)。
● 3. 持续性不等于传统意义上的工作记忆
看到这里,我们可能会产生一个自然的问题:这不就是工作记忆吗?
工作记忆确实能够帮助我们暂时保持和操作信息。但作者讨论的神经表征持续性,并不一定都能简单归入传统的工作记忆框架。例如,在连续语言加工中,某些信息可能在没有被有意识地刻意记忆时,仍然能够从神经活动中被解码。研究者因此需要考虑其他可能的机制,包括信息在持续加工过程中留下的动态神经状态。
不过,这并不意味着工作记忆不再重要。对于较长时间的保持、任务相关的信息维护等过程,工作记忆仍然可能发挥作用。我们真正需要区分的是:我们观察到的信息持续存在,究竟来自何种神经机制?不同类型的信息是否采用相同的保持方式?这也是这一领域仍待回答的问题。
![]()
并行性编码:大脑不是一次只处理一个词
● 1. 语言理解并不是一条单向流水线
如果大脑只能在完全处理完一个词之后,才开始处理下一个词,那么自然语速下的语言理解将非常困难。因此,实际情况要复杂得多。
当你听到一句话时,大脑可能同时保留着前面几个音素的信息、先前词语的信息,以及与句子意义和语法结构有关的信息。与此同时,它还在分析当前到达的声音,并利用上下文预测后续内容。
换句话说,语言加工涉及多个时间位置和多个语言层级的信息。这篇论文的作者将这一特征称为并行性(parallelism)。
● 2. 多个语言层级可以同时存在于神经活动中
语言理解至少涉及几个相互关联的层级:
(1)声学层级(acoustic signal):声音的频率、强度和时间变化等特征。
(2)语音层级(phonemes & syllables):声音对应的语音单位及其特征。
(3)词汇层级(words):听到的声音可能对应哪个词。
(4)语义与句法层级(syntactic structures):词语意味着什么,以及它们如何组合成句子。
这些层级并非彼此孤立。声学信息有助于识别语音和词汇,而上下文又能够影响我们对当前输入的理解。例如,当你听到“他把咖啡倒进……”时,“杯子”可能是一个很容易想到的后续词。但如果后面出现了意想不到的内容,大脑仍需要根据实际输入调整原先的判断。因此,语言理解既包含自下而上的输入分析,也涉及上下文对当前加工的影响。
论文回顾的研究还表明,先前几个音素以及若干个先前词语的信息,可以在后续时刻的神经活动中被解码。这为多个语言元素能够在时间上并存提供了证据。
![]()
图2|语言包含不同层级的结构,从语音到词语,再到意义。随着时间推移,大脑能够同时表征多个抽象层级的信息。这些表征以并行的方式共存,而不是随着更高层级表征的形成而被逐一取代。这种分层的表征状态使不同层级之间能够相互作用:高层级的知识可以影响低层级的知觉加工,而低层级的感觉证据也能够不断修正高层级的解释。此外,不同层级的神经表征具有不同的持续时间,因此,在语言结构的不同层级之间,会形成时间上相互重叠的信息处理窗口(图源:原论文)。
● 3. 并行加工如何实现?
一个有趣的候选解释是神经活动的旋转动力学(rotational dynamics)。
简单来说,神经群体的活动状态可能随时间沿着特定轨迹变化。不同时间点的信息可以对应不同的群体活动模式,从而使多个信息在动态系统中得到区分和维持。
但需要注意,旋转动力学是理解这一现象的一种候选机制,并不是已经确定的、可以解释所有语言加工现象的统一答案。
目前需要我们进一步研究的是:不同语言层级的信息究竟如何共存?这些信息是否依赖同一种神经动态机制?它们又如何相互影响?
![]()
时间戳编码:大脑如何知道信息发生在什么时候?
● 1. 只有内容还不够
假设你听到了三个词:“学生”,“老师”,“推荐”。
即使大脑保留了这三个词的相关信息,仅仅知道它们各自是什么意思,也不足以完整理解句子。词语之间的顺序和关系同样重要。例如,比较这两个句子,“学生推荐老师”,
以及“老师推荐学生”。它们包含相同的三个词,但语序不同,意义也不同。
当然,真实的句子理解还涉及语法、语义角色和上下文等因素,不能简单归结为词语顺序。不过,这个例子说明了一个基本问题:语言理解需要的不只是信息内容,还包括信息在时间序列中的位置和关系。
● 2. 神经编码可能同时包含内容和时间信息
作者讨论的第三个特征是便是时间戳编码(time-stamped encoding)。
这一概念强调,神经表征可能不仅包含“正在处理什么”,还包含与时间有关的信息,例如某个事件相对于其他事件发生得早还是晚。
一种可能的实现方式,是神经群体活动随时间形成连续变化的轨迹。研究者可以考察这些活动状态是否携带有关时间顺序的信息。
论文也讨论了来自不同研究领域的相关证据,包括上颞回(superior temporal gyrus,STG)的颅内神经记录、EEG/MEG 研究、海马中的时间细胞研究,以及鸣禽的序列编码研究。这些研究提供了理解时间信息神经编码的不同线索,但它们来自不同的任务、脑区和研究尺度。不能因为它们都涉及时间信息,就认定它们使用完全相同的机制。
![]()
图3|随着时间推移,语言表征沿着神经状态空间中的轨迹不断演化(图中以不同颜色的箭头表示)。这一过程形成了一种联合编码,同时表征信息内容(方框中的音素或词语)以及已经流逝的时间(这些方框在箭头轨迹上的位置)。序列中各元素的位置,可以从不同神经群体状态之间的时间关系中推导出来。当在一个话语结束时对神经表征进行分析,较早出现的元素位于轨迹上更靠后的位置,而较近出现的元素则位于轨迹的起始部分。类似的编码原理可以应用于语音层级中的不同尺度,从音素序列到词语序列,使大脑能够在不断展开的语言结构中保留各元素的先后顺序(图源:原论文)。
● 3. 这与大语言模型有什么关系?
在计算模型中,语言模型需要利用词语的位置信息来理解序列。某些模型通过位置编码机制,将序列位置的信息纳入计算过程。
这与神经科学提出的问题存在一定的概念相似性:一个系统如何在表示内容的同时,表示顺序和时间关系?
但这种相似性应当被视为一种有启发性的类比,而不是大脑与大语言模型采用相同机制的证据。生物神经系统的活动、计算模型中的位置编码,以及它们各自的学习方式,仍然需要分别研究。
![]()
把三种特征放在一起:大脑如何理解连续的言语输入?
现在,我们可以将这三个概念联系起来。
持续性让先前输入的信息在声音结束后仍然可以参与加工。
并行性使多个时间位置、多个语言层级的信息能够在相互重叠的时间范围内被处理。
时间戳编码则为理解这些信息之间的时间顺序和相对位置提供了可能的神经计算基础。
三者共同指向一个重要观点:理解连续语言的大脑,并不只是被动地接收一串声音,再依次将它们转换成词语和意义。它需要在不断变化的神经活动中,保留与过去有关的信息、处理当前输入,并将不同部分组织成具有结构的整体。
这一框架也有助于我们思考,为什么人能够根据后续语境重新解释先前的信息,以及为什么一个词的理解有时取决于它之前出现的内容。
不过,这三个特征首先是一种组织研究问题的理论框架,并不意味着作者已经证明了一个统一的神经机制可以完整解释所有语言理解过程。
![]()
这篇综述的贡献与尚未解决的问题
这篇文章的价值,不在于提出了一个已经得到最终验证的单一模型,而在于把有关语言神经表征的几个核心问题放在同一个框架中讨论。
它也留下了值得继续探索的问题。
● 问题一:信息仍然可以被解码,意味着什么?
如果研究者能够从神经信号中解码出先前出现的词语信息,这是否意味着大脑一直以稳定的形式储存着它?
——不一定。信息的可解码性并不能单独告诉我们,信息以什么形式表示、由什么机制维持,以及它是否一直在当前任务中发挥作用。
● 问题二:如何从时间序列理解复杂的句法结构?
语言不仅是一串按时间排列的词语,还包含层级结构和远距离依赖。
例如,在较复杂的句子中,一个词可能需要与前面相隔较远的另一个成分建立联系。大脑如何在持续接收新信息的同时,维持并整合这些关系,仍是重要的研究方向。
● 问题三:不同研究尺度上的发现能否统一起来?
单神经元记录、局部神经群体活动以及 EEG/MEG 等非侵入性方法,反映的是不同层面的神经活动。它们可以为同一个理论问题提供互补证据,但不能被简单视为完全等价。未来研究需要进一步厘清这些不同尺度之间的联系。
![]()
延伸:从语言理解到第二语言学习:还有哪些问题值得研究?
这篇文章提供的理论框架也为第二语言习得研究提供了值得探索的方向。
学习一门新语言时,我们不仅需要学习新的词汇和语法规则,还需要在真实的时间压力下识别语音、整合上下文,并建立不同语言成分之间的关系。
由此,我们可以提出几个研究问题:
学习能否改变神经信息的持续性?例如,学习者能否在听到后续词语时,更有效地利用先前的语言信息?
提取练习能否改变在线语言加工?相比重复学习,提取练习是否会影响学习者在句子理解过程中保持和整合语法信息的方式?
个体差异如何影响上下文利用?不同能力、语言背景的学习者在预测后续内容、处理意外输入或整合较长句子时,是否呈现不同的神经时间进程?
这些是从本文理论框架延伸出的潜在研究假设,并非这篇综述已经得出的结论。要回答它们,还需要专门设计实验,并结合行为表现与时间分辨率较高的神经测量方法,例如 EEG/ERP。
这也提醒我们,研究第二语言习得时,除了关注学习者最终记住了多少词汇、掌握了多少语法规则,还可以进一步追问:学习改变的,是否还有大脑在时间维度上组织和利用语言信息的方式?
![]()
结语
声音不断消失,语言却不会因此失去连续性。
要理解大脑如何完成这一过程,我们需要关注的不只是某一时刻出现了什么神经反应,还包括信息能够持续多久、不同层级的信息如何同时存在,以及神经活动如何携带时间和顺序的信息。
Laura Gwilliams 的这篇综述通过持续性、并行性和时间戳编码三个维度,为理解语音理解中的神经表征提供了一个有启发性的框架。它真正引出的,也许是一个更广泛的问题:当我们理解语言时,大脑究竟是在逐个处理声音,还是在一个持续变化的神经系统中,不断整合过去、现在与可能的未来?
原文信息
Gwilliams, L. (2026). Time after time: neural codes of speech comprehension. _Trends in Cognitive Science.
DOI: https://doi.org/10.1016/j.tics.2026.09.003
分享人:tianyu
审核:PsyBrain 脑心前沿编辑部
● 原文信息与获取方式
DOI:10.1016/j.tics.2026.09.003
获取原文:
1. 三连后添加小助手:PSY-Brain-Frontier 获取
版权归属作者团队和出版社,本文仅做分享
![]()
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.