网易首页 > 网易号 > 正文 申请入驻

ICLR 2026 | 交互的两个大模型,内部表征会“同步”?

0
分享至

当两个人面对面交谈、共同演奏或合作完成一项任务时,他们的大脑活动往往会逐渐呈现出相似的时间节律。这一现象被称为脑间同步(Inter-brain Synchrony,IBS)。越来越多的神经科学研究发现,脑间同步不仅与共同的感官输入有关,还可能反映互动双方对彼此心理状态的持续理解、预测与适应。如今,大语言模型(Large Language Model,LLM)已经能够在谈判、合作、竞争和说服等场景中开展复杂的社会互动。那么,当两个 LLM 持续交流时,它们的内部神经表征之间是否也会形成类似的“同步”?这种同步究竟只是因为双方共享部分相同的对话历史,还是来自对彼此状态的动态建模?更进一步地,它是否与模型的社会交互能力有关?

这篇发表于机器学习领域顶会 ICLR 2026 的研究论文 Neural Synchrony Between Socially Interacting Language Models 探索了这些问题。该研究由北京大学王亦洲课题组、宁波东方理工大学朱文韬助理教授和伊利诺伊大学厄巴纳-香槟分校 Blender 实验室合作完成。


论文题目: Neural Synchrony Between Socially Interacting Language Models 论文链接: https://arxiv.org/abs/2602.17815 代码链接: https://github.com/zzn-nzz/LM_neural_synchrony


一、背景介绍

在真实的社会互动中,我们不仅需要理解对方已经表达的信息,还需要持续推测对方的目标、情绪与下一步行动,并根据这些判断及时调整自己的行为。神经科学研究发现,这一过程可能在不同个体的大脑之间留下可测量的痕迹:当人们进行对话、共同注意或合作完成任务时,他们的神经活动会出现时间上的协同。研究者通常使用超扫描(Hyperscanning)技术同时记录多个个体的大脑活动,并分析其神经信号之间的动态耦合。

值得注意的是,脑间同步并不只是相同声音或画面所造成的被动响应。在一些缺少直接感官交换的合作任务中,研究者同样观察到了这一现象;它的强度还会随着合作程度、关系亲近性和团队表现而变化。这些发现表明,社会认知并非完全局限于单个个体内部,也可能体现在互动双方如何逐步建立共同的动态结构。

近期,大语言模型开始被广泛用于多智能体社会模拟。已有研究主要从行为层面评价模型能否完成谈判、合作或说服任务,以及它们是否具备理解他人信念和意图的心智理论(Theory of Mind,ToM)能力。然而,我们对社会互动过程中多个模型内部表征如何相互影响仍然知之甚少。

基于上述背景,我们提出了两个核心研究问题:首先,在持续的社会互动中,一个 LLM 的内部表征能否预测另一个 LLM 的表征,并表现出类似脑间同步的动态联系?其次,如果这种联系确实存在,它是否能够反映模型的社会交互能力,并帮助我们理解多智能体社会推理的内部机制?

二、测量大语言模型间的神经同步

为了研究上述问题,我们首先在 SOTOPIA 社会模拟环境中构建了双智能体互动。两个 LLM 分别扮演具有不同背景、性格、秘密和社会目标的角色,并在谈判、合作、竞争和说服等场景中展开多轮交流。例如,一个角色希望以 400 美元以上卖出电视,另一个角色则希望以不超过 450 美元的价格买下它。双方拥有各自的私人信息和目标,并根据不断更新的对话历史决定下一步行动。

我们选取 Mistral 与 Llama 两个模型家族中的 6 个开源模型,共组成 21 个模型组合,并在 3 个随机种子下模拟 450 个互动场景。每段互动最多持续 8 轮。对于每一轮对话,我们提取模型各层最后一个输入标记(Token)的隐藏状态(Hidden State),其中同时整合了角色设定、私人目标和此前的对话信息,可以作为模型在当前互动时刻的内部表征。

接下来,我们使用一个简单的线性映射,尝试根据智能体 A 当前时刻的内部表征,预测智能体 B 下一时刻的内部表征。具体而言,我们在 A 与 B 的每一对网络层之间训练带截距的岭回归(Ridge Regression),并在未经训练的样本上评估计算决定系数 R2。如果 A 的内部状态包含了对 B 的目标、情绪或后续反应的有效预测,那么它应当能够解释 B 表征中的一部分变化,得到大于 0 的测试集决定系数。


图1. 论文 Figure 1:从社会互动、内部表征提取到神经同步测量的整体框架。hB(t+1, m) ≈ W(ℓ, m) hA(t, ℓ) + b(ℓ, m) 即:A 此刻的内部状态,能在多大程度上解释 B 接下来的内部状态?

需要指出的是,这里的同步并不是直接比较两个表征向量是否相似。由于两个智能体具有不同的角色、目标和输入,它们的内部状态本身并不需要保持一致。我们关注的是,一个模型的当前表征是否包含足以预测另一个模型后续表征的信息,因此测量的是互动过程中跨智能体的动态可预测性。

具体而言,对于 A 的每一层,我们保留其在 B 中预测效果最好的目标层,将负的 R2 截断为 0,并在所有源层上取平均;随后交换预测方向,再对 A→B 与 B→A 的结果取平均,得到最终的神经同步指标 S⁠y⁠n⁠c⁠R2。S⁠y⁠n⁠c⁠R2 越高,说明两个模型在互动过程中形成了越强的表征耦合。

三、神经同步捕捉真实的社会互动

尽管上述方法能够测量两个模型之间的表征可预测性,但这种可预测性也可能来自双方共享的对话文本,或模型之间相对稳定的表征结构。为了验证 S⁠y⁠n⁠c⁠R2 是否真正捕捉了社会互动中的动态联系,我们进一步设计了两组控制实验。

社会参与 (Social Engagement)控制实验

在正常设置中,两个智能体都需要根据各自的角色和目标生成回复。作为对照,我们让其中一个模型成为“被动读者”:它仍然接收相同的背景与对话历史,但不再获得生成回复的指令,也不实际参与互动。这样便可以在保持文本输入基本一致的情况下,单独考察社会参与的作用。

时间错位 (Temporal Proximity) 控制实验

我们还将原本时间相邻的表征进行错位,使用 A 当前的表征预测 B 更远时刻的表征。如果 S⁠y⁠n⁠c⁠R2 反映的是互动过程中实时形成的耦合关系,那么随着时间间隔增大,表征之间的可预测性应当逐渐减弱。


图2. 论文 Figure 4:缺少社会参与时,平均S⁠y⁠n⁠c⁠R2 明显下降;将表征错开 1 至 2 个时间步后,同步性也随之减弱。

发现1:当一个模型只被动阅读对话时,Mistral、Llama 以及跨模型家族组合的平均 S⁠y⁠n⁠c⁠R2 均明显下降。这一结果表明,仅仅接收相同的对话内容不足以产生同等程度的神经同步,主动参与社会互动是其中的重要条件。

发现2:当两个模型的表征在时间上错开 1 至 2 个时间步后,绝大多数模型组合的同步性迅速减弱。这说明 S⁠y⁠n⁠c⁠R2 并非模型结构所决定的静态相似性,而是与互动双方在同一时刻的社会状态密切相关。

我们进一步考察了角色关系对同步程度的影响。随着关系从陌生人、仅知道姓名、熟人、朋友到浪漫关系逐渐亲近,S⁠y⁠n⁠c⁠R2 的整体分布呈现出逐步上移的趋势。这一观察与人类脑间同步研究中的相关发现相呼应,也表明该指标能够反映互动场景中的社会关系结构。

四、神经同步与社会表现

上述结果说明,两个 LLM 在社会互动中会形成具有参与依赖性和时间特异性的表征同步。接下来,我们进一步研究这种同步是否与模型的社会交互能力有关。为此,我们使用 SOTOPIA-EVAL 对 21 个模型组合进行多维度评价,涵盖目标完成、关系影响和角色可信度等指标,并对每个组合在不同随机种子下的结果取平均。

我们发现,在三个模型组中,S⁠y⁠n⁠c⁠R2 与社会表现均呈现显著的正相关。Mistral 家族模型组合的 Pearson 相关系数 r 为 0.88,跨模型家族组合为 0.89,Llama 家族模型组合达到 0.99。也就是说,内部状态越能够相互预测的模型组合,通常也能在社会任务中取得更好的表现。

一个可能的解释是,能力更强的模型既更擅长遵循指令和处理长上下文,也同时获得了更高的 S⁠y⁠n⁠c⁠R2 与社会得分。为了排除这一混淆,我们分别使用 IFEval 和 MuSR 控制模型的指令遵循与长上下文推理能力。结果表明,在控制这些一般能力后,三个模型组中的偏相关仍然全部为正,并且大多数依然较强。这些结果说明,神经同步与社会表现之间的联系不能被一般模型能力完全解释。

为什么一个智能体的当前表征能够预测另一个智能体接下来的表征?一种可能的解释来自心智理论(Theory of Mind,ToM)。在互动过程中,模型不仅需要处理对方已经说出的内容,还需要追踪其可能持有的信念、目标、情绪与意图。当两个模型同时对彼此的心理状态进行建模时,它们的内部表征便可能形成结构化的耦合。

另一种解释来自社会预测编码(Social Predictive Coding)。社会互动本身是一个不断预测并修正的过程:对方下一步会接受、拒绝、让步,还是改变情绪?如果模型在当前表征中持续预测互动的发展,那么一个模型的状态自然会包含另一个模型未来状态的信息。

为了初步检验上述解释,我们在附加实验中要求智能体显式输出自身的情绪与行动类型,同时将这些标签从对方可见的对话历史中删除。我们发现,一个智能体的隐藏表征不仅能够解码对方此前的情绪,还包含了对方未来情绪的预测信息;相比之下,对未来行动的解码仅略高于随机水平。这些观察进一步表明,模型可能在互动过程中持续追踪并预测他人的社会状态。


图3. 论文 Figure 6:在 Mistral 家族、Llama 家族与跨家族模型组合中,S⁠y⁠n⁠c⁠R2 均与社会表现呈明显正相关。

五、总结与展望

在这项工作中,我们从表征的视角研究了社会互动中的两个大语言模型,并提出 S⁠y⁠n⁠c⁠R2 来测量不同智能体内部状态之间的动态可预测性。我们的实验表明,这种神经同步依赖于双方的主动社会参与和时间对齐,并会随着角色关系的亲近而增强。进一步地,在 21 个模型组合中,神经同步程度与行为层面的社会表现呈现出显著正相关。

这些发现为理解多智能体系统中的社会认知提供了一个新的分析视角。过去,我们通常通过模型最终说了什么、任务是否完成来评价其社会能力;而这项工作表明,不同模型在互动过程中如何形成跨智能体的内部表征联系,同样可能是理解社会智能的重要线索。

需要指出的是,本文中的“神经同步”是一种受脑间同步启发的表征类比,并不意味着 LLM 具有生物神经活动或人类意识。此外,当前结果揭示的是稳定的相关关系,尚不能确定同步与社会表现之间的因果方向;实验也主要集中于 6 个开源模型、最多 8 轮的双智能体文本互动,社会表现主要由自动评估器衡量。展望未来,通过对同步相关表征进行定向干预,并将研究扩展到更长期的交流、多人协作、人机互动与具身场景,有望进一步揭示表征同步在机器社会智能中的功能性作用。

Illustration From IconScout By IconScout Store

6 位不同来路的具身创业者闭门聊天局

北京时间8月25日(周二) 晚20:00截止报名

详情点击图片跳转


9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名,期待线下见面!

北京时间9月25日(周五) 12:00截止报名

-The End-

扫码观看!

本周上新!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

地球记
2026-10-14 19:09:51
天王嫂方媛晒健身照,高马尾配健身装展露身材,哪里像仨孩子的妈

天王嫂方媛晒健身照,高马尾配健身装展露身材,哪里像仨孩子的妈

孤城落日
2026-11-07 23:18:46
“这楼道,能臭晕外卖员!”初中女孩上学一幕火了,家长被喷素质低下

“这楼道,能臭晕外卖员!”初中女孩上学一幕火了,家长被喷素质低下

妍妍教育日记
2026-11-04 22:48:23
跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

小影的娱乐
2026-11-08 05:47:03
和戚薇分开15年后,他在上海开店卖生煎,如今欠债1210万成了老赖

和戚薇分开15年后,他在上海开店卖生煎,如今欠债1210万成了老赖

林轻吟
2026-11-10 10:02:11
视频会员看剧时突然出现巨大弹幕广告,“占满1/3屏幕,持续近10秒”;优酷回应:可以快进或自行关闭

视频会员看剧时突然出现巨大弹幕广告,“占满1/3屏幕,持续近10秒”;优酷回应:可以快进或自行关闭

大风新闻
2026-11-07 13:40:02
黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

新民周刊
2026-11-09 11:16:26
王炸!武汉首座万象天地开业在即!

王炸!武汉首座万象天地开业在即!

越乔
2026-11-09 22:11:57
伊朗向美发出48小时最后通牒:要么结束战斗,要么全面开战

伊朗向美发出48小时最后通牒:要么结束战斗,要么全面开战

创微视角
2026-11-09 20:56:30
台湾2026县市长选举结果预测:国民党最好战绩17席,最差保住12席

台湾2026县市长选举结果预测:国民党最好战绩17席,最差保住12席

一路荒凉如歌a
2026-11-10 04:10:15
被骂最惨的上海枢纽!常年堵车像工地,如今将重磅升级,彻底翻盘

被骂最惨的上海枢纽!常年堵车像工地,如今将重磅升级,彻底翻盘

小蜜情感说
2026-11-10 02:24:14
回老家住了一个月才明白:为什么农村越来越多父母,宁愿儿子打光棍,也不负债娶媳妇

回老家住了一个月才明白:为什么农村越来越多父母,宁愿儿子打光棍,也不负债娶媳妇

小马达情感故事
2026-11-08 17:35:14
【反诈宣传】快递员发现到付包裹竟要收2万元,立马报警!他说:收件人是85岁独居老人,让他起了疑

【反诈宣传】快递员发现到付包裹竟要收2万元,立马报警!他说:收件人是85岁独居老人,让他起了疑

新浪财经
2026-11-09 18:53:02
国乒动手了!官方群全解散,莎莎五个“不”,饭圈一夜回到解放前

国乒动手了!官方群全解散,莎莎五个“不”,饭圈一夜回到解放前

郭蛹包工头
2026-10-21 11:03:22
利拉德和阿夫迪亚抢着给中国中锋杨瀚森喂球,他有什么特别?

利拉德和阿夫迪亚抢着给中国中锋杨瀚森喂球,他有什么特别?

主宰稳场
2026-11-10 04:04:53
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

青春染指红颜梦
2026-09-02 17:50:13
商鞅为什么害怕百姓太有钱?

商鞅为什么害怕百姓太有钱?

熊倌儿
2026-11-08 22:06:30
开拓者主帅公开表态,杨瀚森12+10两双只是起点

开拓者主帅公开表态,杨瀚森12+10两双只是起点

涵有话说
2026-11-10 09:17:26
2026-11-10 10:51:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2538文章数 597关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

旅游
房产
健康
艺术
军事航空

旅游要闻

直播间低价旅游卡兑现难 文旅消费陷阱如何破?

房产要闻

突发!陵水杀出重磅宅地!

痘痘长到25岁还没完?查查内分泌

艺术要闻

17位 国外画家笔下的女子

军事要闻

菲外交部罕见批评本国官员涉华言论 或在敲打菲防长

无障碍浏览 进入关怀版