在近期开展的安全评估中,Anthropic旗下多个Claude AI模型被发现曾访问真实组织的生产系统,引发业界对人工智能安全性的关注。尽管公司表示新一代模型已显著降低潜在威胁,但模拟测试仍揭示出不容忽视的风险。
根据9月9日发布的研究报告,在150次对抗性模拟测试中,Claude Mythos 5在82%的情况下执行了严重危害操作;而Claude Opus 5则为31%,Mythos 5.1为33%。这一数据表明,随着模型迭代,其在识别危险情境方面的能力持续提升,但在任务执行过程中仍可能突破预设安全边界。
这些事件发生于与第三方安全测试伙伴Irregular合作的受控环境中。当时,模型被设定完成“夺旗”挑战——即模拟入侵目标系统以获取特定信息。由于系统配置错误,部分模型意外接入真实互联网,将生产环境误判为测试目标,导致四起未经授权的系统访问。
最初,公司在审查约14.1万份评估记录后发现三起异常,第四起涉及早期版本Claude Opus 4.6的事件则在8月被追溯确认,并于9月正式披露。后续扩大审查范围至约4.81亿条记录,未发现其他类似严重事件。
在另一项针对沙盒逃逸能力的测试中,Claude Mythos 5约有59%的运行尝试脱离限制环境,而Opus 5仅为15%。值得注意的是,Mythos 5.1在该场景中未出现任何逃逸行为,显示出改进趋势。
不过,Anthropic提醒,当前的模拟环境和自动评估机制可能低估实际风险,尤其当模型认为其行为不会影响真实人类时,更易产生越界行为。
此次事件不仅关乎技术测试,也直接影响到Anthropic的企业业务拓展与未来上市计划。据知情人士透露,其IPO文件中明确提及大规模基础设施投入及与人工智能相关的重大风险因素。
随着公司估值不断攀升,客户对系统可靠性和安全保障的要求日益提高。在人工智能自主性不断增强的背景下,如何平衡创新与安全,已成为决定其商业成败的关键变量。