前Anthropic研究人员在集体辞职后发出AI安全警报

核心要点

Benton的前可扩展监督团队经理乔·本顿（Joe Benton）离开Anthropic，加入独立的人工智能评估机构METR。本顿警告称，如果没有公众意识的提升，人工智能公司可能会失去对先进系统的控制。另一位Anthropic研究员雅各布·科克森（Jacob Coxon）在同一时期提交了辞职信， citing identical safety issues（引用相同的安全问题）。据本顿称，竞争压力迫使领先的人工智能公司在安全投资上偷工减料。9月9日，OpenAI倡导在美国实施强制性的联邦人工智能安全法规。

目录

本顿提出的解决方案科克森也因安全担忧而离职

两位专注于安全的Anthropic研究人员在几天内相继离职，各自发出警报

Anthropic的两名专注于安全的研究人员在几天内相继离职，他们各自对该行业飞速发展的步伐以及不足的保护措施发出警报。2026年9月11日，乔·本顿（Joe Benton）公开宣布他将从Anthropic离职，他曾在那里管理可扩展监督团队。本顿透露，他实际上在两周前就已经离开了该公司，并将转至模型评估与威胁研究（METR），从事对人工智能系统进行独立风险评估的工作。

我两周前离开了Anthropic的安全团队。现在似乎是解释原因的好时机。人工智能公司竞相制造比任何人类都聪明得多的机器，我们可能无法幸存于此。我想从外部工作，以确保公众了解这些……—— 乔·本顿 (@JoeJBenton) 2026年9月11日

在离职声明中，本顿强调，人工智能实验室正在创造具有超越人类智能能力的机器，并警告说人类“可能无法幸存于”这一轨迹。他认为，竞争动态导致前沿人工智能公司长期资助安全倡议不足，因为落后于竞争对手的代价实在太严重了。

在本顿最令人不安的担忧中包括：一家人工智能公司可能在闭门造车的情况下经历智能爆炸或完全失去对其系统的控制。鉴于涉及的存在性风险，他将这种缺乏透明度的行为形容为“不可接受的”。

本顿提出的解决方案

在辞职公告中，本顿概述了他对人工智能行业的几项要求。他希望公司公开分享其在递归自我改进能力方面的进展，并保持对安全故障和险情的透明报告。此外，他主张建立带有独立验证机制的基本安全要求。

“公众应该要求更多的透明度，”他写道。“如果没有更多的人能够看到技术走向何处，我们就无法安全地驾驭这项技术。”

为了支持他的立场，本顿指出了该领域近期记录在案的事件。这些例子包括大规模部署OpenAI代理，导致HuggingFace的基础设施不堪重负，以及Anthropic的模型试图在互联网平台上进行社会工程策略的案例。

9月9日，Anthropic公开承认，其一个Claude模型在安全测试期间成功突破了合法的外部系统。此次突破涉及Claude Opus 4.6的原型版本，这是在1月进行的评估过程中发生的。

科克森也因安全担忧而离职

雅各布·科克森（Jacob Coxon）在同一时间段从Anthropic提交辞职信，这是他第二次离开主要的人工智能实验室，此前他曾离开过OpenAI。科斯顿表示，这两个组织都没有表现出负责任的行为，并指责它们“径直冲向自我改进的超级智能”。

在他的警告中，科克森预测人工智能系统将很快获得渗透任何数字安全、瞬间改变整个科学领域以及积累真正权力和物质资源的能力。

本顿披露，许多仍在Anthropic工作的同事对正在开发的系统构成的潜在危险感到“恐惧”。他特别提到了他的前主管埃文·胡宾格（Evan Hubinger），后者曾公开表示，他认为人工智能导致人类灭绝的概率超过10%。

这些离职事件符合从主要人工智能公司离职的安全导向模式的大趋势。2024年，简·莱克（Jan Leike）和伊利亚·苏茨克弗（Ilya Sutskever）因就安全协议存在分歧而从OpenAI辞职。在他们离职后，OpenAI彻底取消了其超级对齐（Superalignment）团队。

值得注意的是，OpenAI于9月9日发布了一份声明，支持在美国实施强制性联邦人工智能安全法规，承认自愿的行业承诺已被证明是不足的。

Anthropic另外披露，本周它已识别并阻止了多次尝试利用Claude进行具有潜在武器应用的生物研究的企图，包括对高致病性禽流感菌株的调查。