网易首页 > 网易号 > 正文 申请入驻

Nat Human Behaviour 跨74 国结论 | 大语言模型模拟的偏好,能代替问卷吗?

0
分享至


● 认知神经科学前沿文献分享

论文信息:Simulated responses from large language models are weak proxies for human economic preferences across 74 countries

发表期刊:Nature Human Behaviour




大语言模型模拟的经济偏好,能代替跨国问卷吗?

让大语言模型扮演一位 35 岁的米国女性,问她愿不愿意为了拿到更多的钱再等一年,或者觉得陌生人值不值得信任,它答得出“米国人的样子”吗?

Fadong Chen, Qijun Wang, Lei Wang 和 Sudeep Bhatia 在 Nature Human Behaviour 上给出的答案是:答得出一部分。模型大致能说对性别、年龄和认知能力带来的差异方向,这类人口学梯度与真实数据一致的比例是 77.8%;换成国家之间的文化差异,一致率只有 48.1%,接近抛一枚硬币。把提示词里的国家标签去掉,结果几乎没变;去掉人口学信息,结果才变差。作者的结论是,AI 模拟答案目前还不能替代跨国问卷。



照着真实受访者造一批“虚拟人”


Fig. 1 | Study design. Following the GPS, we focused on six economic preferences: risk-taking, patience, negative reciprocity, positive reciprocity, altruism and trust.

参照物是 Global Preference Survey(GPS),一项测量风险偏好、耐心、正向互惠、负向互惠、利他和信任的跨国调查。本研究用到其中 67,201 名受访者,来自 74 个国家。研究者为每名受访者建一个条件相同的虚拟受访者(persona):把年龄、性别、认知能力和国家写进系统提示词,让模型用受访者的调查语言回答同一份问卷。12 种模型配置各做一遍,再和真人答案逐层比较。



个人答案对不上,模型之间却很像

先看个体。模型答案与真人答案的相关多半为正,方向对得上;数值却差得远。偏好指数标准化后,模型与 GPS 的均方误差(MSE)平均为 1.827,模型预测只解释了真人偏好方差的 1.3%(个体层)和 4.2%(国家层)。

更有意思的是,模型彼此比和真人更像:个体层的跨模型 MSE 只有 1.377。作者认为,各模型即使共同偏离人类,输出也会趋于相似。换成更新的模型,也没有看到改善:检验没有发现 GPT-5.4 和 GPT-5.4-mini 优于较早的 OpenAI 模型。


Fig. 2 中,作者比较了个体层与国家层 LLM 与 GPS 偏好误差的 MSE 及 95% bootstrap 置信区间。



性别和年龄说得对,国家差异说不对

研究者接着问,GPS 里性别、年龄和认知能力带来的偏好差异,模型能不能复现。判断标准是:模型和人类数据在同一个梯度上给出同方向的显著差异,或者都没有显著差异。结果一致率为 77.8%,性别和认知能力都在 80% 以上,年龄低一些,为 66.7%。


Fig. 4 中,作者展示了六类偏好上 GPS 与 LLM 人口学梯度的 Cohen’s d 对照,以及两者是否一致。

这个成绩可能偏高。GPS 数据收集于 2012 年,题目可能已进入模型的训练数据,成功预测因此可能部分来自记忆。作者改写了题目,也做了英文-only 实验,都没有为这个假设找到统计上显著的支持。过去十年经济偏好的世代变化,则可能让研究低估当前群体的对齐程度。

文化层面的结果弱得多。研究者把 World Values Survey、Hofstede 和 Schwartz 三套文化维度,各按国家中位数分成高低两组,每个人沿用所在国家的分类,再看模型能否复现高低组之间的偏好差。一致率为 48.1%,低于人口学的 77.8%。一些被广泛研究的关系几乎没复现出来:Hofstede 的长期导向与耐心的关系,12 个模型里只有 3 个恢复。


Fig. 5 中,作者展示了六类偏好上 GPS 与 LLM 文化梯度的 Cohen’s d 对照,以及两者是否一致。

作者认为,一个国家名对文化的刻画可能太粗;研究没有试更丰富的文化描述、检索增强提示或显式文化校准,这些做法可能改变结果。另外,非英语题目由 Google Translate API 翻译,每个国家通常只模拟样本最多的一种语言,翻译和单语言设定也可能影响跨文化比较。



提示词里拿掉国家,几乎没有影响

为了看模型到底靠什么作答,研究者用 GPT-5.4-mini 把提示词里的信息逐项拿掉。只保留人口学信息时,个体层 MSE 为 1.835,和完整 persona 的 1.838 几乎一样;只保留国家信息,MSE 升到 1.961。国家标签加不加,差别只在小数点后第三位,人口学信息一拿掉,误差就上去了。这组消融主要用 GPT-5.4-mini 和单一的 persona 提示设计,其他模型和国家编码方式没有覆盖。


Fig. 7 中,作者展示了不同提示词消融条件下的个体层 MSE 与人口学效应量。



拿已发表的结果再试一遍

研究者还让模型去复现已发表研究报告的国家层关联,要求方向和显著性都与原研究一致。表现最好的模型在 35 条关联中复现了 16 条;这里沿用了原研究 10% 的显著性标准,按 5% 计则是 12/29。

偏差也有固定的方向。模型系统性高估女性的亲社会偏好,利他在 12 个模型中全部如此,信任在 11 个模型中如此,性别刻板印象更强的国家,错配更大。作者认为,输出不只受 persona 影响,也带着训练语料里各国的性别规范。另一个问题是回答太集中,LLM 的回答比 GPS 更同质。主分析把温度设为 0,这可能加重同质化;调到 1 只部分恢复了多样性,仍明显低于人类水平。



解读时要留意的地方

论文的结论是,LLM 模拟答案尚不是跨国代表性调查的可靠代理,不能据此直接替代政策评估中的人类调查。作者提出,LLM 或许可用于探索潜在动机、早期假设和研究设计诊断,这些用途仍需实证验证;后续可以用同步数字孪生面板区分记忆与真实推理。本研究的分析样本只是 GPS 原始样本的一部分,为 67,201 人、74 个国家,原始样本有 80,000 多人、76 个国家,结论不覆盖完整基准。

分享人:天天
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI:10.1038/s41562-026-02611-4

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

年薪2200万欧锁到2032年,皇马把贝林厄姆摆上维尼修斯同档

赛场速报局
2026-11-20 00:17:13
哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

译言
2026-11-20 08:03:37
这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

果妈聊娱乐
2026-11-20 09:45:59
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

天呐,原来爱自己有这么多方式!神评:永远把自己放在第一位!

夜深爱杂谈
2026-10-31 21:24:43
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

沈丁立教授为何在国际会议上提出损害中国南海主权的主张?

李光满说
2026-11-19 20:25:37
传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

传北京大厂多模态训练骨干要出走;杭州大模型公司新模型技术报告外流,遭英伟达质问;传某大模型基模团队降薪,或引发离职潮丨AI情报局

雷峰网
2026-11-19 18:40:57
张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

张柏芝现身江苏盐城参加拼盘演唱会,三十秒入场视频先火了,披风一脱、背头一梳,评论区当场吵翻

勺哥乡村味道
2026-11-17 20:38:41
上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

红豆讲堂
2025-04-14 12:25:10
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

曼联签下新帅波切蒂诺22岁阿根廷小老乡帕斯的计划,大概率落空;因为皇马计划8000万欧回购

福酱的小时光
2026-11-20 11:46:20
最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

最大危机来袭!火箭登顶第三后迎魔鬼赛程,打不好直接跌进附加赛

爱尔爱电影
2026-11-20 08:40:50
中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

回京历史梦
2026-09-30 18:24:01
神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

神舟二十四号将发射:空间站6人同飞准备,一起太空出差够住吗?

环球科学猫
2026-11-20 10:46:09
没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

没招了!高校老师课堂突发不适,非故意离岗仍被通报批评、取消评优!网友直言,某些高校的管理已经呈现耗材化的趋势

学术眺望
2026-11-19 10:00:03
没有库里,联盟垫底

没有库里,联盟垫底

只关于篮球
2026-11-20 13:08:05
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

李在明落地深圳画面流出,不止韩国,所有人都疯狂盛赞中国排面

古书奇谈
2026-11-19 12:22:04
不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

朗威谈星座
2026-11-20 07:53:25
2026-11-20 13:24:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
本地
艺术
手机
旅游

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

无障碍浏览 进入关怀版