Scholay

学术搜索 · AI 审稿 · LaTeX 协作

Nature 建立医疗大模型安全地图:风险贯穿设计、数据、模型、推理与运行环境

学术圈重大事件 · 发布 2026-08-20T02:40:00+08:00 · 更新 2026-08-20T02:40:40+08:00

核心结论

Nature 8 月 19 日综述把医疗大模型风险按设计、数据、模型、推理和运行环境五阶段梳理,并把防护扩展到优化目标、知识完整性、对齐、人机交互、权限与审计。框架强调医院部署是供应链和工作流问题,而非只看问答准确率;但文章整合的是现有文献,尚未证明统一清单能适用于所有临床系统。

Nature 8 月 19 日发表医疗大语言模型安全与安保综述。医疗机构正在把生成式 AI 接入病历摘要、分诊、会诊、患者沟通和行政流程,但“模型在基准上答对多少题”不能覆盖部署风险。综述把安全理解为避免无意伤害,把安保理解为抵御蓄意攻击与滥用,并强调两者在医院系统中会相互放大:一次数据污染既可能降低回答可靠性,也可能成为针对特定患者或科室的攻击入口。

医疗大语言模型安全与安保风险框架的论文主图
论文页面主图(图 1),概括医疗大模型生命周期中的安全与安保风险。(图源:Springer Nature / 论文作者)

作者把威胁按临床 AI 生命周期分为设计、数据、模型、推理和环境五个阶段。设计阶段包括目标定义和责任边界错误;数据阶段涉及隐私泄露、偏差与投毒;模型阶段包括后门、记忆敏感信息和对齐失效;推理阶段覆盖提示注入、越权调用、幻觉及不确定性表达;环境阶段则关注大模型与电子病历、检索库、医护人员和其他软件连接后形成的系统性风险。这个分类的价值在于把“模型问题”重新写成供应链与工作流问题。

综述进一步提出多层防护:从核心优化目标、知识完整性和行为对齐,到人机交互、权限控制、审计和持续监测。开发者需要记录训练数据与评估边界,医院要限定最小权限、保留可追溯日志并预演故障,临床人员不能把流畅输出等同于证据,监管者则需明确更新模型和第三方插件后的再验证责任。对带工具调用的智能体而言,错误不再停留在文本,而可能直接触发检索、开单或信息写入,因此防护应围绕行动后果设计。

这是一篇整合既有文献的综述,不是某个防护方案的随机试验,也没有证明一套统一清单能适用于所有医院。风险发生率、不同模型的可比测量和攻击者能力仍缺少标准化证据;过度收紧权限也可能让系统失去临床价值。它的现实意义是提供共同语言和责任矩阵,后续仍需公开红队测试、真实事件报告、版本变更审计,以及把患者结局和工作负担纳入安全评价。

来源: Nature 综述WHO 人工智能促进健康的伦理与治理指南

信息来源

可信度说明

来源为 Nature 同行评议综述与 WHO 治理指南,可核验五阶段风险地图和多层责任框架。综述依赖既有研究与作者分类,不提供单一防护措施的临床效果估计;具体威胁发生率、模型间比较、医院成本和患者结局仍需真实部署、红队测试与事件报告验证。

同主题情报

  • 动物所 / `Cell`:`disc-Gastruloid` 首次把人类原条形成推进到可空间重构、可延长培养的体外模型

    中国科学院 `2026-07-08` 官方稿显示,团队构建的人类 `disc-Gastruloid` 在 `72` 小时共培养后形成类原条样区域,延长培养后超 `80%` 继续发育为轴向不对称三维胚胎样结构,分出 `14` 类细胞群并与着床后 `21` 天天然胚胎较高相似。它的重要性,在于把人类原肠运动这个长期难直接观察的发育“黑箱”推进到可重复、可操控的体...

  • 银河系最快恒星逼近中心黑洞:峰值约每秒 2.5 万公里,或可测量自旋

    Science 与美联社 8 月 19 日报道,甚大望远镜数据识别出银河系内迄今已知速度最快的恒星:峰值约每秒 2.5 万公里,绕人马座 A* 一周约 8.7 年,且比此前纪录保持者更接近黑洞。长期高精度跟踪可能约束银河系中心黑洞自旋,但当前只是发现和轨道测量起点,尚未得到自旋值。

  • 嫦娥七号以四器协同搜寻月球南极水冰,跳跃探测器瞄准永久阴影区

    Science 8 月 19 日更新嫦娥七号任务:轨道器、着陆器、巡视器和跳跃探测器将在鹊桥二号支持下调查月球南极水冰与挥发物,四平台合计 18 项载荷,并计划让跳跃探测器进入永久阴影坑现场分析。公开资料仍只给出 2026 年下半年发射口径,最终日期、落点与工程参数需以官方通告为准。

  • M87 黑洞第一次有了双频“体检图”,研究者开始按位置读等离子体状态

    中国科学院 2026-07-28 08:18 发布官方稿,介绍上海天文台团队把 1.3 毫米和 3.5 毫米两张 M87 黑洞视界尺度图像合起来,首次做出空间分辨的谱指数分布。简单说,这不只是把黑洞拍得更清楚,而是开始按位置判断视界附近等离子体在不同半径上更接近“自吸收很强的厚辐射”还是“更容易透出的薄辐射”。关键转折出现在距黑洞中心约 30 微角秒处,并与...

  • Moderna mRNA 流感疫苗获批,确诊病例相对标准疫苗减少 26.6%

    Nature 8 月 13 日梳理 Moderna 的 mRNA 流感疫苗 mFLUSIVA:FDA 于 8 月 5 日批准其用于 50–64 岁成人,并对 65 岁以上人群给予加速批准,计划进入美国 2026–27 流感季。超过 4 万人的试验中,mRNA 组 2% 出现实验室确诊流感,对照标准疫苗组为 2.8%,相对减少 26.6%;常见不良反应多为轻中...

  • KIST 公布 A²SG 训练方法,以自适应非对称梯度改善深层脉冲神经网络

    KIST 8 月 10 日公布已获 ICML 2026 接收的 A²SG 训练方法,用自适应窗口和非对称代理梯度缓解深层脉冲神经网络的梯度变化与时间不一致。机构称该方法在 ImageNet 等任务提高准确率且训练开销低于所比较基线;论文与代码可查,但相对能耗和商业化前景仍需独立复现及真实神经形态硬件验证。