Nature正刊 | 大语言模型能预测社会科学实验真实处理效应？！

认知神经科学前沿文献分享

基本信息

Title:Large language models can predict the results of social science experiments

发表时间:2026-07-08

发表期刊:Nature

影响因子:56.1

获取原文:

1. 添加小助手:PSY-Brain-Frontier即可获取PDF版本

研究背景

大型语言模型（large language models, LLMs）已经能模仿很多人类语言反应，但社会科学实验看的不是单个回答像不像人，而是随机条件之间的处理效应（treatment effects）。这篇 Nature 论文问的是一个更窄也更难的问题：模型在看到人口学特征、实验刺激和结果问题后，能不能预测美国社会科学实验中真实样本的效应大小排序，而不是复述论文结果，或假装生成一名受访者的答案

实验设计与方法逻辑

作者让 GPT-4 等模型扮演不同人口学特征的美国参与者，在各实验条件下作答，再用条件均值计算 LLM-derived predictions。主要档案包括 70 个预注册、全国代表性调查实验、469 个效应和 119,330 名参与者；补充档案包括 15 个大型多处理实验（megastudies）、606 个效应。评估指标有相关、调整相关（adjusted correlation, r_adj）、误差、校准斜率。论文还把模型预测与人类、专家预测作比较，并讨论可能用途、偏差和误用风险

核心发现

发现一：GPT-4 对主要调查实验的效应排序预测很强

在 70 个美国文本型社会科学调查实验中，GPT-4 预测效应与真实效应高度相关，r = 0.85，r_adj = 0.92；较新模型和若干开源权重模型也有不错表现。主要问题在绝对数值：模型预测的效应大约是真实效应的两倍，存在系统性高估（systematic overestimation）

Fig. 1 展示了 LLM 预测处理效应与原始处理效应的对应关系，也比较了不同模型和研究子集的相关性。模型能分出较大和较小效应，但原始尺度需要重新校准

对 GPT-4 训练数据截止前未发表或未公开的研究，模型预测仍保持高相关；截至 2025 年 6 月仍未发表的研究也呈现类似模式。这让“模型只是记住已发表结果”的解释变弱了

Fig. 1 的稳健性分析显示，未公开或较晚公开研究子集仍有较高预测相关。这说明 LLM 对新实验效应含有预测信息，但不能证明训练数据影响为零

在 15 个 megastudies 的 606 个效应中，LLM 预测与真实效应的总体相关降至 r = 0.39、r_adj = 0.48，低于主要调查实验档案。它表现较好的场景仍然是文本处理和调查结果；遇到非文本处理、现场行为结果和小效应时，预测难度明显上升

Fig. 2 比较了 LLM 与专家预测在 megastudies 中的相关性。LLM 可以作为额外预测来源，但它的适用范围受实验材料和结果类型限制

重新校准后，LLM 预测可以辅助 pilot testing、识别可能需要复制的效应，并小幅提升专家选择干预的表现。但问题也很清楚：模型在部分群体上的准确性有小差异，对 white 和 Republican 样本更有利；疫苗相关 Facebook 帖子的分析还显示，模型可能被用来筛选会降低接种意愿的内容

Fig. 3 展示了 pilot testing、复制筛查、专家增强选择和社会科学家使用意愿。潜在科研用途、校准要求、偏差和误用边界，都被放在同一组证据里讨论

省流总结

这篇 Nature 正刊论文显示，LLM 对美国文本型社会科学调查实验的处理效应排序有较强预测力；到了 megastudies，表现变弱，但仍有补充价值。它不能替代真人实验：绝对效应会被系统性高估，适用范围有限，还伴随偏差、复现性和有害使用风险

分享人：天天

审核：PsyBrain 脑心前沿编辑部

你好，这里是「PsyBrain 脑心前沿」

专注追踪全球认知神经科学的最尖端突破

视野直击 Nature, Science, Cell 正刊 及核心子刊与顶级大刊

每日速递「深度解读」与「前沿快讯」

科研是一场探索未知的长跑，但你无需独行。欢迎加入PsyBrain 学术社群，和一群懂你的同行，共同丈量脑与心智的无垠前沿。

点击卡片进群，欢迎你的到来

一键关注，点亮星标 ⭐ 前沿不走丢！

一键分享，让更多人了解前沿