当 LLM 学会抽象，语言学还有什么不可替代的价值？

本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。

近年来，大语言模型的发展推动自然语言处理进入新的阶段。通过大规模预训练，模型已经能够完成翻译、问答、写作和代码生成等多种语言任务，过去针对单一任务分别构建模型的研究路径正在逐渐被通用语言模型取代。随着模型能力不断提升，研究者不再只关注模型是否能够完成某项语言任务，而是进一步分析模型内部语言能力的形成机制，以及这种能力与人类语言使用和理解之间的关系。

斯坦福大学计算机科学教授 Christopher Manning 近期在一场访谈中讨论了大模型时代 NLP 研究方向的变化，他认为，大模型的发展并没有结束语言研究，而是推动研究从语言处理能力本身，进一步转向语言能力如何形成以及模型是否具备更深层次的理解能力。

目录

01.LLM 为何难以把握「言外之意」？
NLP 的研究重心从任务能力转向了哪些层面？

02.从语言学的角度看，LLM 为何天生就是抽象学习器？
模型语言学习是「实例优先」还是「抽象优先」？...

03.掌握语言规律之后，LLM 距离理解语言还有多远？

模型能否仅靠文本学会语言的意义？...

LLM 为何难以把握「言外之意」？

1、斯坦福大学计算机科学教授 Christopher Manning 近期接受访谈，围绕语言学思想在大语言模型研究中的持续影响力，从语言交流、语言学习和语言意义三个层面，梳理大语言模型已经取得的进展，以及当前自然语言处理（NLP）领域仍在探索的问题。

① Christopher Manning 是斯坦福大学计算机科学教授、Stanford NLP Group 负责人，长期从事自然语言处理、语言表示学习和深度学习研究。他曾参与编写自然语言处理领域经典教材《Foundations of Statistical Natural Language Processing》，并推动 Stanford CoreNLP 等 NLP 工具的发展。

2、Christopher Manning 指出，大语言模型的发展正在改变自然语言处理（NLP）领域的问题结构。过去研究主要关注模型能否完成具体语言任务，而当前研究开始进一步关注模型是否真正理解语言在交流中的作用。

① 在 LLM 兴起之前，NLP 研究通常围绕机器翻译、句法分析、文本分类和问答等具体任务展开，不同任务往往需要设计不同模型。随着 Transformer 和大规模预训练模型的发展，一个统一模型已经能够覆盖大量语言任务，这也促使研究者重新讨论语言能力本身的形成机制。

3、Manning 指出，LLM 目前展现出的优势主要集中于语言形式处理，而真实交流中的语言还包含情境、目标以及说话者意图等信息。若模型无法结合这些信息，仅依靠语言表面规律生成回答，就可能无法准确判断用户真正想表达的内容。

① Manning 以「这里有点冷」为例，句子从字面上只是描述温度，但在具体交流环境中，也可能意味着希望对方关闭窗户或调整空调。句子的文字内容没有变化，但表达目的随着情境发生改变。

4、随着大语言模型逐渐解决词法、句法和基础语义分析等传统 NLP 问题，Manning 认为「语用（Pragmatics）」「语话（Discourse）」和「对话（Dialogue）」将成为大模型进一步理解语言能力的重要方向。

① 当前 LLM 已经能够根据上下文生成连贯回答，但真实对话要求模型持续更新对用户目标的判断。例如用户在连续交流中不断补充条件，模型需要理解哪些信息改变了任务目标，而不是简单拼接此前内容。

5、语用（Pragmatics）关注语言在具体交流情境中的实际含义，尤其是说话者的真实意图与字面表达之间的差异。 Manning 将当前 LLM 描述为已经具备一定能力的「语用机器」，但认为其难以恰当地表达不确定性，常在事实依据不足时给出确定答复，进而影响对话双方对信息可靠性的判断。

① LLM 已经能够根据上下文识别许多隐含意图，但 Manning 认为其仍存在「过度自信」的问题。人类在缺乏充分把握时，通常会使用「可能」「我不太确定」等模糊限制语来传递置信度，而模型常在不具备充分证据时给出笃定表述，干扰对话双方对信息可靠性的判断。

② Manning 提到，语用学过去曾被戏称为语言学和 NLP 的「废纸篓」，因为许多无法单纯依靠句法和语义规则解释的现象，最终都被归入语用研究。

6、Manning 对于语话（Discourse）的解释是将语言理解从单个句子扩展到连续的文本或话语，研究不同表达之间如何建立联系并形成完整含义。 与分析一句话的字面意思不同，语话理解要求模型追踪上下文中的人物、事件、指代关系及主题变化，从而判断后续信息如何与此前内容衔接。

① Manning 用论文中常见的「这一方法」承接句式做说明。论文中经常以「为当新架构被提出后」作为开头，下一句以「这一方法改善了此前的性能问题」收束，理解这种句式需要把代词锚回前文的特定技术、再把笼统的「性能问题」还原成对应的实验瓶颈。

② 对 LLM 而言，长上下文处理能力使其能够利用大量前文信息。但在长篇文本或持续交流中，模型仍需要判断哪些信息已经成立、哪些内容被后续信息修正，以及不同句子之间存在怎样的逻辑联系。

7、对话（Dialogue）关注语言交流的互动过程，即交流双方如何通过多轮表达不断确认信息、协调意图并推进共同目标的过程。 Manning 认为，对话（Dialogue）研究的核心是多轮中的意图协调。即模型能否在理解不一致或信息不足时灵活修正表达，并在信息不足、意图不明确或双方理解不一致时作出恰当回应。

① 人类日常交流具有复杂的互动规则，当说话者对某件事缺少把握时，通常会主动降低表达的确定程度；当双方理解出现偏差时，也会通过补充解释、确认或追问重新建立共同理解。Manning 认为这种更具人类交流特征的语言机制，将继续为语言学与机器学习的交叉研究提供空间。

从语言学的角度看，大语言模型为何天生就是抽象学习器？

1、围绕LLM对语义的抽象与学习能力，Manning 分享了他们团队近期发表的论文「Abstraction drives language learning」，认为模型在训练极早期就形成了类别抽象，这一结果偏向支持了语言学习中「抽象优先」的理论立场...