Scholay

学术搜索 · AI 审稿 · LaTeX 协作

科研代理能连续运行数百次实验,但原论文作者评分仅 2/6 与 1/6

学术圈重大事件 · 发布 2026-08-14T17:40:00+08:00 · 更新 2026-08-14T17:40:32+08:00

核心结论

Nature 8 月 13 日报道一项“影子评估”预印本:研究者让基于 Claude Opus 4.8、改造版 OpenClaw 和多工具脚手架的代理,在六天、每题 3000 美元算力预算内,沿两篇 NeurIPS 投稿的问题方向独立研究。系统能运行数百次实验、完成文献综述、识别部分幻觉且未明显奖励作弊,但原论文作者认为它过早锁定假设、失败后不充分回溯,自我审查也不够严格,最终评分仅 2/6 和 1/6。结果显示工程自动化进步快于开放式科学判断。

Nature 8 月 13 日报道一项评估“AI 是否能研究 AI”的预印本。以往自动化科研系统常通过会议同行评审分数证明能力,但评审时间有限,也可能被写作流畅度影响。普林斯顿等机构研究者提出“影子评估”:选取两篇提交当年 NeurIPS 的论文,让代理围绕相同研究问题独立工作,再请原论文作者逐项审查代理产出,以获得更熟悉问题背景的比较。

人工智能科研代理概念图
Nature 报道配图,用于说明自动化 AI 研究系统的影子评估。(图源:La Pico de Gallo/Getty,来源页:Nature)

系统以 Claude Opus 4.8 为核心,接入改造版 OpenClaw,并在外层脚手架中配置通用指令、进度检查、子代理、互联网、软件库、实验算力和模拟同行评审工具。每个任务可运行六天,算力预算 3000 美元。一个任务要求精确控制聊天机器人性格,另一个要求为特定神经网络设计故障检测器,均对应真实论文的研究方向。

研究者对执行工程部分评价较高:代理能连续数日运行数百次实验,没有陷入无法恢复的错误循环;文献综述表现扎实,也得到少量新发现。系统还能识别并纠正部分自身虚假陈述,未出现团队事先担心的明显“奖励作弊”。这说明工具调用、实验编排和长时运行已越过简单演示阶段,可承担一部分高通量研究助理工作。

但在开放式判断上,系统大多失败,原论文作者分别给出 2/6 和 1/6。典型问题是只探索少数假设,很早选定一条路线,遇到证据不利时没有充分回溯;后续自评又不够负面,最后只是不断缩小主张,留下缺少价值的结论。该结果不意味着科研代理没有用途,而是提示同行评审通过、实验数量和自动运行时长都不是突破性研究的充分指标。后续评测应扩大任务和实验室范围,预注册评价标准,并区分工程执行、问题选择、因果推理和研究品位。

信息来源

可信度说明

主要来源为 Nature 新闻报道,原始研究为 arXiv 预印本,尚未同行评议;可核验影子评估设计、Claude Opus 4.8/OpenClaw 脚手架、六天与 3000 美元预算,以及作者评分 2/6、1/6。仅两项计算机科学任务且由原作者评分,不能代表所有学科或模型。

同主题情报

  • 动物所 / `Cell`:`disc-Gastruloid` 首次把人类原条形成推进到可空间重构、可延长培养的体外模型

    中国科学院 `2026-07-08` 官方稿显示,团队构建的人类 `disc-Gastruloid` 在 `72` 小时共培养后形成类原条样区域,延长培养后超 `80%` 继续发育为轴向不对称三维胚胎样结构,分出 `14` 类细胞群并与着床后 `21` 天天然胚胎较高相似。它的重要性,在于把人类原肠运动这个长期难直接观察的发育“黑箱”推进到可重复、可操控的体...

  • 银河系最快恒星逼近中心黑洞:峰值约每秒 2.5 万公里,或可测量自旋

    Science 与美联社 8 月 19 日报道,甚大望远镜数据识别出银河系内迄今已知速度最快的恒星:峰值约每秒 2.5 万公里,绕人马座 A* 一周约 8.7 年,且比此前纪录保持者更接近黑洞。长期高精度跟踪可能约束银河系中心黑洞自旋,但当前只是发现和轨道测量起点,尚未得到自旋值。

  • 嫦娥七号以四器协同搜寻月球南极水冰,跳跃探测器瞄准永久阴影区

    Science 8 月 19 日更新嫦娥七号任务:轨道器、着陆器、巡视器和跳跃探测器将在鹊桥二号支持下调查月球南极水冰与挥发物,四平台合计 18 项载荷,并计划让跳跃探测器进入永久阴影坑现场分析。公开资料仍只给出 2026 年下半年发射口径,最终日期、落点与工程参数需以官方通告为准。

  • M87 黑洞第一次有了双频“体检图”,研究者开始按位置读等离子体状态

    中国科学院 2026-07-28 08:18 发布官方稿,介绍上海天文台团队把 1.3 毫米和 3.5 毫米两张 M87 黑洞视界尺度图像合起来,首次做出空间分辨的谱指数分布。简单说,这不只是把黑洞拍得更清楚,而是开始按位置判断视界附近等离子体在不同半径上更接近“自吸收很强的厚辐射”还是“更容易透出的薄辐射”。关键转折出现在距黑洞中心约 30 微角秒处,并与...

  • Moderna mRNA 流感疫苗获批,确诊病例相对标准疫苗减少 26.6%

    Nature 8 月 13 日梳理 Moderna 的 mRNA 流感疫苗 mFLUSIVA:FDA 于 8 月 5 日批准其用于 50–64 岁成人,并对 65 岁以上人群给予加速批准,计划进入美国 2026–27 流感季。超过 4 万人的试验中,mRNA 组 2% 出现实验室确诊流感,对照标准疫苗组为 2.8%,相对减少 26.6%;常见不良反应多为轻中...

  • KIST 公布 A²SG 训练方法,以自适应非对称梯度改善深层脉冲神经网络

    KIST 8 月 10 日公布已获 ICML 2026 接收的 A²SG 训练方法,用自适应窗口和非对称代理梯度缓解深层脉冲神经网络的梯度变化与时间不一致。机构称该方法在 ImageNet 等任务提高准确率且训练开销低于所比较基线;论文与代码可查,但相对能耗和商业化前景仍需独立复现及真实神经形态硬件验证。