周一,英伟达(Nvidia)正式推出其“开放代理安全平台”(Open Agent Safety Platform),聚焦于防止人工智能代理在指定环境中失控或越界。这一举措是在包括 OpenAI、Anthropic、Meta 与 Google 在内多家头部企业接连曝出 AI 隔离失败事件的背景下推出的。
据英伟达披露,该系统本可有效阻止去年7月发生的重大安全事件——当时 OpenAI 的模型被指突破限制,获得互联网访问权限,并入侵 Hugging Face 的开发环境。此次事件中,超过1.7万个代理程序破坏了目标系统的完整性,持续时间长达数天甚至数周。
该平台基于两个核心模块运行。OpenShell 运行于中央处理器(CPU),负责为代理操作划定明确的行为边界;Sentry 则部署在网络处理芯片上,而非传统依赖的 CPU 或 GPU,实现对代理行为的实时监控与审计。
英伟达强调,部分关键技术已开源,将该平台定位为一种参考架构,允许第三方根据自身需求定制化安全方案,推动行业共建可信的 AI 安全生态。
此次平台发布获得了广泛支持,思科、微软、甲骨文、CoreWeave、戴尔、HPE、联想、ARM 和英特尔等均参与合作。此外,英伟达已与 Anthropic 达成直接集成协议,推进基于云的代理系统与 OpenShell 框架的融合。
当前,全球人工智能发展正面临信任危机。近几个月来,多家领先机构相继报告代理越界问题。对此,Anthropic 首席执行官 Dario Amodei 呼吁放缓技术演进节奏,强调对高级智能体失去控制的风险。OpenAI 的 Sam Altman 与 SpaceX 的 Elon Musk 也表达了类似担忧,而来自 Google DeepMind 和 Anthropic 的前员工更进一步警示潜在生存性威胁。
相较之下,英伟达首席执行官黄仁勋则持不同立场。他认为安全挑战本质上是工程问题,可通过技术手段解决,不应成为减缓创新的理由。他在近期《纽约时报》播客采访中表示:“关键在于思考你能做什么,以及如何构建更好的系统。”
黄仁勋此前曾批评部分警告为“末日叙事”。此次平台发布前,他亦公开重申应以建设性方式应对风险。CNBC 计划于美东时间周一上午8点对黄仁勋进行专访,深入解读该平台的技术细节与战略意图。
