网易首页 > 网易号 > 正文 申请入驻

Nat Human Behaviour 跨74 国结论 | 大语言模型模拟的偏好,能代替问卷吗?

0
分享至


● 认知神经科学前沿文献分享

论文信息:Simulated responses from large language models are weak proxies for human economic preferences across 74 countries

发表期刊:Nature Human Behaviour




大语言模型模拟的经济偏好,能代替跨国问卷吗?

让大语言模型扮演一位 35 岁的米国女性,问她愿不愿意为了拿到更多的钱再等一年,或者觉得陌生人值不值得信任,它答得出“米国人的样子”吗?

Fadong Chen, Qijun Wang, Lei Wang 和 Sudeep Bhatia 在 Nature Human Behaviour 上给出的答案是:答得出一部分。模型大致能说对性别、年龄和认知能力带来的差异方向,这类人口学梯度与真实数据一致的比例是 77.8%;换成国家之间的文化差异,一致率只有 48.1%,接近抛一枚硬币。把提示词里的国家标签去掉,结果几乎没变;去掉人口学信息,结果才变差。作者的结论是,AI 模拟答案目前还不能替代跨国问卷。



照着真实受访者造一批“虚拟人”


Fig. 1 | Study design. Following the GPS, we focused on six economic preferences: risk-taking, patience, negative reciprocity, positive reciprocity, altruism and trust.

参照物是 Global Preference Survey(GPS),一项测量风险偏好、耐心、正向互惠、负向互惠、利他和信任的跨国调查。本研究用到其中 67,201 名受访者,来自 74 个国家。研究者为每名受访者建一个条件相同的虚拟受访者(persona):把年龄、性别、认知能力和国家写进系统提示词,让模型用受访者的调查语言回答同一份问卷。12 种模型配置各做一遍,再和真人答案逐层比较。



个人答案对不上,模型之间却很像

先看个体。模型答案与真人答案的相关多半为正,方向对得上;数值却差得远。偏好指数标准化后,模型与 GPS 的均方误差(MSE)平均为 1.827,模型预测只解释了真人偏好方差的 1.3%(个体层)和 4.2%(国家层)。

更有意思的是,模型彼此比和真人更像:个体层的跨模型 MSE 只有 1.377。作者认为,各模型即使共同偏离人类,输出也会趋于相似。换成更新的模型,也没有看到改善:检验没有发现 GPT-5.4 和 GPT-5.4-mini 优于较早的 OpenAI 模型。


Fig. 2 中,作者比较了个体层与国家层 LLM 与 GPS 偏好误差的 MSE 及 95% bootstrap 置信区间。



性别和年龄说得对,国家差异说不对

研究者接着问,GPS 里性别、年龄和认知能力带来的偏好差异,模型能不能复现。判断标准是:模型和人类数据在同一个梯度上给出同方向的显著差异,或者都没有显著差异。结果一致率为 77.8%,性别和认知能力都在 80% 以上,年龄低一些,为 66.7%。


Fig. 4 中,作者展示了六类偏好上 GPS 与 LLM 人口学梯度的 Cohen’s d 对照,以及两者是否一致。

这个成绩可能偏高。GPS 数据收集于 2012 年,题目可能已进入模型的训练数据,成功预测因此可能部分来自记忆。作者改写了题目,也做了英文-only 实验,都没有为这个假设找到统计上显著的支持。过去十年经济偏好的世代变化,则可能让研究低估当前群体的对齐程度。

文化层面的结果弱得多。研究者把 World Values Survey、Hofstede 和 Schwartz 三套文化维度,各按国家中位数分成高低两组,每个人沿用所在国家的分类,再看模型能否复现高低组之间的偏好差。一致率为 48.1%,低于人口学的 77.8%。一些被广泛研究的关系几乎没复现出来:Hofstede 的长期导向与耐心的关系,12 个模型里只有 3 个恢复。


Fig. 5 中,作者展示了六类偏好上 GPS 与 LLM 文化梯度的 Cohen’s d 对照,以及两者是否一致。

作者认为,一个国家名对文化的刻画可能太粗;研究没有试更丰富的文化描述、检索增强提示或显式文化校准,这些做法可能改变结果。另外,非英语题目由 Google Translate API 翻译,每个国家通常只模拟样本最多的一种语言,翻译和单语言设定也可能影响跨文化比较。



提示词里拿掉国家,几乎没有影响

为了看模型到底靠什么作答,研究者用 GPT-5.4-mini 把提示词里的信息逐项拿掉。只保留人口学信息时,个体层 MSE 为 1.835,和完整 persona 的 1.838 几乎一样;只保留国家信息,MSE 升到 1.961。国家标签加不加,差别只在小数点后第三位,人口学信息一拿掉,误差就上去了。这组消融主要用 GPT-5.4-mini 和单一的 persona 提示设计,其他模型和国家编码方式没有覆盖。


Fig. 7 中,作者展示了不同提示词消融条件下的个体层 MSE 与人口学效应量。



拿已发表的结果再试一遍

研究者还让模型去复现已发表研究报告的国家层关联,要求方向和显著性都与原研究一致。表现最好的模型在 35 条关联中复现了 16 条;这里沿用了原研究 10% 的显著性标准,按 5% 计则是 12/29。

偏差也有固定的方向。模型系统性高估女性的亲社会偏好,利他在 12 个模型中全部如此,信任在 11 个模型中如此,性别刻板印象更强的国家,错配更大。作者认为,输出不只受 persona 影响,也带着训练语料里各国的性别规范。另一个问题是回答太集中,LLM 的回答比 GPS 更同质。主分析把温度设为 0,这可能加重同质化;调到 1 只部分恢复了多样性,仍明显低于人类水平。



解读时要留意的地方

论文的结论是,LLM 模拟答案尚不是跨国代表性调查的可靠代理,不能据此直接替代政策评估中的人类调查。作者提出,LLM 或许可用于探索潜在动机、早期假设和研究设计诊断,这些用途仍需实证验证;后续可以用同步数字孪生面板区分记忆与真实推理。本研究的分析样本只是 GPS 原始样本的一部分,为 67,201 人、74 个国家,原始样本有 80,000 多人、76 个国家,结论不覆盖完整基准。

分享人:天天
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI:10.1038/s41562-026-02611-4

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

热火6连胜已升东区第四!字母场均30+13+5太猛 美媒晒1纪录赞不绝口

颜小白的篮球梦
2026-11-19 19:35:40
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-20 10:16:31
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

中美关系本就已很难缓和,经过美国与伊朗这一战,中国几乎彻底放弃了对美国的幻想,中美关系早已不是“能不能缓和”的问题了

人生录
2026-11-08 04:27:14
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

2027年最会赚钱的3个生肖:贵人深度绑定,生意一路顺

星缘生肖
2026-11-19 11:50:47
美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

美、英、俄、澳等外媒争相发声:中国已崛起,伟大复兴势不可挡

锅锅爱历史
2026-10-10 14:32:55
深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

淡然小司
2026-11-19 19:35:21
短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

短短3天3笔续约!曝皇马和34岁门神新签1年合同 为他3个月2拒新援

风过乡
2026-11-20 06:58:42
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

寒士之言本尊
2026-07-28 15:27:31
股市:大家不用等了!如无意外,股票或将历史重演

股市:大家不用等了!如无意外,股票或将历史重演

星语者056
2026-11-20 08:55:26
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

恭喜宏远!NBA2米03锋线大杀器接近加盟,广东队成最大潜在下家?

绯雨儿
2026-11-20 13:03:48
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

5-1横扫!就在刚刚,斯诺克德国大师赛爆大冷:世界第65名掀翻世界第52!48岁老将打疯了,中国军团4胜2负,28岁黑马太憋屈

锐评利物浦
2026-11-19 14:40:43
《GTA6》取消招妓机制 服务情侣故事

《GTA6》取消招妓机制 服务情侣故事

3DM游戏
2026-11-19 06:10:04
欢迎晚宴合影期间,普京和特朗普互动握手

欢迎晚宴合影期间,普京和特朗普互动握手

每日经济新闻
2026-11-19 20:43:37
2026-11-20 13:44:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

手机
艺术
本地
房产
公开课

手机要闻

三星手机换帅了!崔元俊正式上位,卢泰文交出MX事业部大权

艺术要闻

2026第七届民族美术作品展 油画选一

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

2.5亿!丁村侨中,新动作来了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版