Scholay

学术搜索 · AI 审稿 · LaTeX 协作

Nature:LLM 预测社会科学实验结果开始逼近 pooled human forecasts

学术圈重大事件 · 发布 2026-07-09T08:35:55+08:00 · 更新 2026-07-09T08:43:25+08:00

核心结论

Nature 2026-07-08 论文用 70 个美国全国代表性预注册 survey experiments、469 个实验效应和 119330 名参与者数据评估 LLM 预测能力,发现 GPT-4 派生预测与真实 treatment effects 高度相关,准确度接近 pooled human forecasts,但会系统性高估效应大小。它把 LLM 参与社会科学实验前评估的争论推进到可量化基准。

Nature 2026-07-08 论文 Large language models can predict the results of social science experiments 构建了一个可核验的社会科学实验预测基准。研究档案包含 70 个美国全国代表性、预注册 survey experiments,覆盖 469 个实验效应和 119330 名参与者;研究者让 LLM 模拟不同实验条件下代表性美国个体的回应,再通过条件差异推断 treatment effects。

Nature:LLM 预测社会科学实验结果开始逼近 pooled human forecasts
Nature:LLM 预测社会科学实验结果开始逼近 pooled human forecasts(图源:Nature 论文页)

论文摘要显示,GPT-4 派生预测与真实实验效应高度相关,准确度接近 pooled human forecasts;对于训练截点之后才发表或公开的研究,以及若干开放权重模型,相关性仍然较高。在另一个包含 15 个 megastudies、606 个效应的次级档案里,相关性下降,但仍接近 pooled expert forecasters。研究还调查了 460 名社会科学研究者,并把模型预测放到 pilot testing、intervention selection 和 identifying effects needing replication 等实际场景中评估。

重要性在于,它没有泛泛讨论 LLM 能不能替代受试者,而是把模型放进实验设计前评估和复现实验优先级排序这些真实科研工作流里做量化对照。边界同样明确:论文也指出模型会系统性高估效应大小,且它测试的是预测和辅助能力,不等于可以替代真实样本、抽样设计、伦理审查或因果识别。

后续观察点:一看独立团队能否在不同国家、非美国样本和更强干预异质性场景复现预测能力;二看模型是否持续高估实验效应大小,以及能否通过校准、盲测和透明报告降低风险;三看期刊、IRB 和资助机构会不会要求披露 LLM 参与 pilot testing 或实验优先级排序的方式。

信息来源

可信度说明

核心事实直接来自 Nature 正式论文摘要。当前可直接核验 70 个预注册实验、469 个效应、119330 名参与者、15 个 megastudies 与 606 个次级效应,以及与 pooled human forecasts 相近但会系统性高估效应大小这些关键信息。边界在于,论文同样明确强调这是一项预测能力评估,不等于 LLM 可以替代真实受试者、抽样设计或伦理约束。

同主题情报

  • 动物所 / `Cell`:`disc-Gastruloid` 首次把人类原条形成推进到可空间重构、可延长培养的体外模型

    中国科学院 `2026-07-08` 官方稿显示,团队构建的人类 `disc-Gastruloid` 在 `72` 小时共培养后形成类原条样区域,延长培养后超 `80%` 继续发育为轴向不对称三维胚胎样结构,分出 `14` 类细胞群并与着床后 `21` 天天然胚胎较高相似。它的重要性,在于把人类原肠运动这个长期难直接观察的发育“黑箱”推进到可重复、可操控的体...

  • 银河系最快恒星逼近中心黑洞:峰值约每秒 2.5 万公里,或可测量自旋

    Science 与美联社 8 月 19 日报道,甚大望远镜数据识别出银河系内迄今已知速度最快的恒星:峰值约每秒 2.5 万公里,绕人马座 A* 一周约 8.7 年,且比此前纪录保持者更接近黑洞。长期高精度跟踪可能约束银河系中心黑洞自旋,但当前只是发现和轨道测量起点,尚未得到自旋值。

  • 嫦娥七号以四器协同搜寻月球南极水冰,跳跃探测器瞄准永久阴影区

    Science 8 月 19 日更新嫦娥七号任务:轨道器、着陆器、巡视器和跳跃探测器将在鹊桥二号支持下调查月球南极水冰与挥发物,四平台合计 18 项载荷,并计划让跳跃探测器进入永久阴影坑现场分析。公开资料仍只给出 2026 年下半年发射口径,最终日期、落点与工程参数需以官方通告为准。

  • M87 黑洞第一次有了双频“体检图”,研究者开始按位置读等离子体状态

    中国科学院 2026-07-28 08:18 发布官方稿,介绍上海天文台团队把 1.3 毫米和 3.5 毫米两张 M87 黑洞视界尺度图像合起来,首次做出空间分辨的谱指数分布。简单说,这不只是把黑洞拍得更清楚,而是开始按位置判断视界附近等离子体在不同半径上更接近“自吸收很强的厚辐射”还是“更容易透出的薄辐射”。关键转折出现在距黑洞中心约 30 微角秒处,并与...

  • Moderna mRNA 流感疫苗获批,确诊病例相对标准疫苗减少 26.6%

    Nature 8 月 13 日梳理 Moderna 的 mRNA 流感疫苗 mFLUSIVA:FDA 于 8 月 5 日批准其用于 50–64 岁成人,并对 65 岁以上人群给予加速批准,计划进入美国 2026–27 流感季。超过 4 万人的试验中,mRNA 组 2% 出现实验室确诊流感,对照标准疫苗组为 2.8%,相对减少 26.6%;常见不良反应多为轻中...

  • KIST 公布 A²SG 训练方法,以自适应非对称梯度改善深层脉冲神经网络

    KIST 8 月 10 日公布已获 ICML 2026 接收的 A²SG 训练方法,用自适应窗口和非对称代理梯度缓解深层脉冲神经网络的梯度变化与时间不一致。机构称该方法在 ImageNet 等任务提高准确率且训练开销低于所比较基线;论文与代码可查,但相对能耗和商业化前景仍需独立复现及真实神经形态硬件验证。