METR 发布对 Anthropic 2026年8月风险报告"自动化 R&D 风险"章节的独立评审,同意 7月15日 模型的直接灾难性风险为"低",但认为其可能已…

谁在评审谁——METR 的外部审查机制

为什么需要第三方审阅公司自己的风险报告

Anthropic 在 2026 年 8 月发布了一份 86 页的风险报告,数据很直观:2026 年 2 月,Claude 参与的自动化研发工作占比不到 1%,到 8 月已飙升至 26%。报告声称这一趋势在可控范围内。问题在于,一家公司审查自己的安全记录,可信度天然存疑。

这就像让被审计方自己写审计报告,哪怕动机再良善,外部监管方也不会直接采信。METR 的角色就是那个外部审计方。

METR(Model Evaluation and Threat Research)是一家位于伯克利的非营利研究机构,专门评估前沿 AI 系统能否自主完成复杂任务。他们与 Anthropic、OpenAI 等公司合作,提供部署前的安全评估。但这次合作的方式有所不同。

METR 与 Anthropic 的合作边界在哪

2026 年 10 月 15 日,Anthropic 宣布六名 METR 员工入驻公司内部,配备与公司风险评估团队同等级别的工具和办公资源。关键条款写在公告里:"METR 将发布其风险评估结果",Anthropic 无权否决。

被追着问 BUG 修完了吗时的程序员表情

METR 评估员刚拿到内部权限时

这是一种罕见的高透明度安排。通常情况下,公司对风险评估的结果拥有最终解释权。但这次,评估团队获得了近乎内部员工的工作权限,同时保留了完全的独立发表权。

这种模式的设计逻辑很清晰:给予评估方足够的访问深度,换取独立判断的可信度。如果 METR 只能看到公开报告,他们的评审可能流于形式;如果他们能看到内部数据但仍受公司审查,独立性就打了折扣。

Anthropic 选择这种安排,背后是 IPO 前的合规压力。高盛、摩根士丹利等华尔街机构正在测试 Claude Mythos,而美联储和财政部上周刚召开紧急会议讨论前沿模型的网络风险。监管态度已经明确:谁做评估,评估过程必须可验证。

METR 驻场评估机制

METR 驻场评估机制

这种机制的核心矛盾在于:评估方需要深度访问才能获得有效结论,但深度访问本身又可能引入偏见或信息操控。METR 的公告措辞刻意明确了边界——他们评估的是风险报告中的分析过程,而不是替 Anthropic 重新做一遍安全审计。

评估的切入点通常集中在三个维度:数据是否完整、推理链条是否有漏洞、结论是否被过度乐观的假设支撑。这三个维度的检查不需要完全透明的系统访问,但需要看到原始材料。

26% 的研发份额意味着什么

从 1% 到 26%:五个月的加速度

这个 26% 不是稳定状态,是曲线末端的一个点。Anthropic 自身在报告中公布了「R&D Automation Index」数据:二月不到 1%,三月 1%,四月 3%,五月 12%,六月 14%,七月 22%,八月 26%。每月的增长斜率在陡峭化,尤其五月到八月,四个月翻了近二十倍。

更准确的判断是:这不是线性加速,是指数早期的典型形态。前几个月的数字小,容易忽视;一旦跨过某个临界点,份额增长会明显快于时间流逝。

研发自动化份额增长曲线与关键节点

研发自动化份额增长曲线与关键节点

Claude 领头的 26% 里,人类还在做什么

26% 的数字容易让人产生误解:以为 Claude 已经接管了大部分研发。事实上,Anthropic 在报告中明确区分了 Claude 的「领头」与人类的「监督」角色。

Claude 承担的主要是三类工作:运行实验、准备训练数据、测试模型。每一项任务都有明确的边界。实验设计由人定方向,参数扫描由 Claude 自动执行;数据清洗的流水线规则由工程师编写,Claude 负责批量处理;模型测试的评估框架是人定的,Claude 负责跑评分和生成报告。

这 26% 的本质是:人类负责定义问题、设定约束、审批产出;Claude 负责执行大量重复、计算密集、迭代频繁的中间环节。两者不是替代关系,是分工重构。但分工重构本身就意味着人类工程师的单位时间产出在上升。一个工程师原来能带三个实验,现在能带三十个。产出增速远超人员增速。

坦白讲,这正是需要警惕的地方。分工升级会让研发总量看起来「一切正常」,因为人类仍然在审批、在决策、在控制方向。但总量增速的上升是隐性的,它不会出现在某个具体的审批记录里。

全自动化研发的预测时间窗口:2026 年 12 月至 2027 年 2 月

Anthropic 在报告中给出了一条预测线:按照当前增速,完全自主的 AI 研发(即 Claude 独立完成从问题定义到实验执行到结果验证的全流程)可能出现在 2026 年 12 月至 2027 年 2 月之间。悲观假设下时间窗口会提前。

这个预测的可信度取决于两个前提:一是当前增速不会在接近全自动化时突然放缓,二是人类监督机制不会因为速度上升而被绕过。METR 的评审重点就是这两个前提。他们的结论是:第一条的可能性较高,第二条尚未得到充分验证。

换句话说,时间窗口预测本身不是最大风险,风险在于我们是否知道何时该踩刹车,以及踩刹车的机制是否在速度提升的同时被同步强化。

自动化研发风险的三个核心争议

风险报告本身由 AI 辅助编写,这算不算循环验证

第一个争议最直接:风险报告本身也是 Claude 写的。

Anthropic 的 August 2026 Risk Report 明确提到,报告的部分章节使用了 Claude 进行辅助编写。这意味着描述「AI 研发自动化风险」的文档,其生产过程本身就在依赖这种自动化。METR 在评审中明确指出这一循环结构,但没有因此否定整份报告的价值——关键在于透明度。

更值得追问的是 METR 自身的评审流程。METR 员工嵌入 Anthropic 内部,使用 Anthropic 的内部工具和系统完成评估,但 Anthropic 明确表示「无法否决 METR 的发布决定」。这个设计在结构上切断了单一闭环:评估者依赖被评估者的工具,但评估结果可以独立对外发布。循环风险降低,但不等于消失。

METR 独立评审的循环结构

METR 独立评审的循环结构

未发布模型的评估:公开数据与内部数据的差距

第二个争议更技术性:公开的风险报告能告诉我们什么,又隐瞒了什么。

Anthropic 向 METR 提供的是一份非公开版本的风险报告,加上大量其他非公开数据。METR 在评审中指出,公开版本中的风险评估可能存在系统性保守倾向——特别是针对未发布模型的能力描述。

原因在于基准测试的数据延迟。已发布模型的评测结果会在公开 benchmark 上逐渐积累,但未发布模型的内部评估数据往往不在公开范围内。METR 拿到内部版本后重新评估,发现 Anthropic 对未发布模型的对齐风险描述可能过于温和。

这不是 Anthropic 单方面的问题。整个行业的安全评估都存在类似的「可见性缺口」:公开文档倾向于展示最保守的场景,而内部测试可能发现更激进的失败模式。METR 的介入让这部分信息第一次有了外部视角的交叉验证。

公开数据与内部评估的差距

公开数据与内部评估的差距

对齐审查的滞后性——当能力跑在审核前面

第三个争议涉及时间维度:审核机制能否跟上 AI 研发自动化的加速曲线。

METR 的评审中最尖锐的判断是:Anthropic 内部的审核周期跟不上 Claude 在研发工作中承担的任务比例增长速度。报告数据显示,Claude 承担的研发工作份额在 2026 年 2 月至 8 月之间经历了指数级增长——从不到 1% 到 26%。这个速度本身就是风险。

传统的对齐审查是「模型发布前做一次评估」的模式。但当 AI 系统开始自主承担越来越多研发任务时,审查不再是点状事件,而是持续过程。审核者面对的是每天都在自我改进的系统,而审核标准往往还在用上一代模型的能力基准。

METR 没有直接批评 Anthropic 的审核流程有漏洞,而是给出了一个更精确的判断:现有审核框架在结构上滞后于自动化研发的实际速度。这不是 Anthropic 一家的问题,而是整个行业在加速期的共同困境。

能力加速与审核滞后的时间错位

能力加速与审核滞后的时间错位

公开版与内部版的差异说明了什么

METR 在评审中明确指出,他们审阅的是 Anthropic 共享的非公开版本。这意味着风险报告存在两个版本——公开版和内部版。公开版经过合规审查后对外发布,内部版则保留了更多敏感细节。

哪些内容被留在内部版本里

内部版保留的内容主要包括三类。

第一类是未发布模型的能力边界数据。METR 在评审中提到,他们获得了 Anthropic 提供的非公开数据,这些数据涉及尚未对外发布的模型在特定任务上的表现。公开版通常只展示已发布模型的风险评估,未发布模型的具体能力分布被保留在内部。

第二类是对齐测试的详细失败案例。风险报告中的对齐部分通常概述结论,内部版则保留了测试过程中的具体失败场景。这些案例对于理解模型在极端情况下的行为模式至关重要,但披露过多可能为恶意使用提供参考。

第三类是自动化研发的具体瓶颈。公开版会描述 Claude 承担 26% 研发工作的宏观趋势,内部版则保留了导致自动化停滞的具体技术原因。这些数据对于评估「是否真的在加速」比宏观数字更有解释力。

公开版与内部版内容差异

公开版与内部版内容差异

风险评估透明度与公司利益的张力

Anthropic 选择性地披露风险数据,本质上是透明度与商业利益的平衡。2026 年 10 月 Anthropic 宣布计划进行 IPO,估值目标高达 3800 亿美元。在此背景下,风险报告的措辞直接影响投资者信心和监管态度。

高盛、摩根士丹利等华尔街银行正在测试 Claude Mythos 大模型。2026 年 10 月美联储和财政部召开紧急会议讨论 Claude Mythos 可能带来的网络风险。这种情况下,风险报告的公开措辞既是合规要求,也是市场信号。

Anthropic 选择了在 IPO 前暂停 Claude Mythos 的发布,这一决策本身传递了风险控制的信号。推迟发布可能影响 2026 年下半年的 API 订阅收入预测,但塑造了「唯一负责任的领军者」形象,对追求合规的养老金和主权基金具有吸引力。

透明度不是越高越好,也不是越低越好。公开版需要让监管和公众理解风险水平,内部版需要保留足够的技术细节以供专业评估。问题在于,这种区分本身可能被用来掩盖真正危险的信息。

外部评审能否真正填补信息差

METR 的高访问权限模式是填补信息差的重要尝试。2026 年 10 月 15 日 Anthropic 宣布六名 METR 员工进入公司内部,配备公司硬件、办公空间和内部工具,访问权限与 Anthropic 自身风险团队相当。关键条款是:Anthropic 不能否决 METR 的发布。

这种模式下,METR 能够看到内部版的风险数据,独立评估风险结论。评审结果显示,METR 同意 Anthropic 对 7 月 15 日模型风险评级的判断,但在 2x Acceleration 预警阈值问题上存在分歧。METR 认为加速曲线可能已触及早期预警线,而 Anthropic 的公开版措辞更为保守。

落地启示:研发自动化的决策边界

什么时候该担心,什么时候不需要

26% 这个数字本身不危险。危险在于它是在五个月内从零增长到四分之一的速度。人类工程师还在做目标设定和结果审核,但执行层已经过半由模型驱动。

该担心的场景有三类:第一,自动化程度继续上升,直到人类无法在事前理解模型正在做什么。第二,内部监控工具本身由模型辅助开发,审查回路失去独立性。第三,未发布模型的能力评估依赖公开数据,而公开数据与内部真实能力存在系统性偏差。

不需要担心的场景是:团队对自动化比例有清晰账本,知道每个阶段人做了什么、模型做了什么、哪里是卡点。这种透明度本身就能过滤掉大部分隐性风险。

技术团队如何建立自己的自动化风险评估框架

核心逻辑不是「要不要自动化」,而是「自动化到哪个深度时谁来承担责任」。

建立框架的第一步是把研发流程拆成可度量的阶段:需求拆解、实验设计、代码实现、测试验证、部署上线。每个阶段标记当前自动化比例,标注人类介入的关键决策点。第二步是定义触发阈值。当某个阶段自动化超过一定比例,或者模型开始自主生成新的研发目标,必须触发重新评估。

第三步是建立独立的验证回路。内部监控工具不能由同一套自动化系统编写。这需要人员或工具层面的隔离。

自动化研发风险评估框架

自动化研发风险评估框架

一份可执行的自查清单

  1. 过去三十天内,模型自动化完成的工作量占比是否已记录并可追溯。
  2. 关键决策节点是否有人类签名,还是仅有系统日志。
  3. 监控系统本身是否由未被审查的自动化工具编写。
  4. 未发布模型的对齐评估是否使用了内部非公开数据,还是仅依赖公开基准。
  5. 是否定义了自动化比例的安全上限,以及超过上限后的降级路径。
  6. 是否存在「模型在测试环境表现正常,但部署后行为不同」的历史案例,以及原因是否被归档。

自查的目的不是阻止自动化,而是让团队在事情还在可控范围内时就做出选择。到了 50% 再问这个问题,已经来不及。

参考文献

[1] Review of the "Risks from automated R&D" section in Anthropic's Risk Report (August 2026) - METR. https://metr.org/blog/2026-11-05-rd-section-anthropic-ri[REDACTED] [2] METR. https://metr.org/zh-hans [3] 风险评估 - METR. https://evals.alignment.org/zh-Hans/risk-assessment [4] 风险评估 - METR. https://metr.org/zh-hans/risk-assessment [5] 风险评估 - METR. https://metr.org/zh-Hans/risk-assessment [6] Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026) - METR. https://metr.org/blog/2026-05-08-rd-section-anthropic-ri[REDACTED] [7] Eight Takeaways from Anthropic's Risk Report for AI Risk Leaders. https://www.fairinstitute.org/blog/eight-takeaways-from-anthropics-ri[REDACTED]

点这里一键关注『计算机魔术师』

如果浏览器无法直接唤起微信,可在微信内打开公众号主页:计算机魔术师

下一篇:
Mustafa Suleyman 对特拉华允许 AI 智能体经营企业的提案表示担忧

分享到这些地方