2026-11-19 12:42:05
icon loading...

OpenAI签约四家机构强化AI对齐与安全审查

摘要
OpenAI与Apollo Research、METR、Transluce和Goodfire签署协议,启动对AI模型对齐与安全机制的独立审查。四家机构将分别负责行为检测、强化学习评估、训练后对齐验证及可解释性分析,确保技术发展不偏离人类意图。

OpenAI已与四家独立评估机构正式签订合作协议,旨在对其人工智能模型的对齐状态与安全机制实施深度审查。此举标志着公司在推动技术可信度方面迈出关键一步。

四家机构分工明确,覆盖全链路评估

11月16日,OpenAI宣布与Apollo Research、METR、Transluce和Goodfire完成第一阶段评估合作。根据协议,各机构可在授权范围内获取模型检查点、源代码、训练数据、监控系统及技术文档等核心资源,以开展全面评估。

对齐难题:规模扩张无法自动解决

AI对齐指确保模型行为始终符合人类价值观与预期目标。尽管过去有观点认为模型越大越自然对齐,但微软CEO萨提亚·纳德拉在2023年10月指出,这一假设并不成立。他强调,即使扩展定律持续有效,对对齐机制的理解仍远未成熟,亟需构建“智能供给”与“控制权”分离的新型架构。

坚持人类主导,推动民主问责

OpenAI首席执行官山姆·阿尔特曼在9月联合国安理会发言中重申:随着AI能力增强,人类必须始终处于决策中心。他呼吁建立向政府负责的公共治理框架,制定全球通用标准来衡量AI的能力边界与风险水平,防止企业单边决定重大技术走向。

保障独立性与透明度

此前,“AI评估者论坛”发布公开信,获超200名专家联署,呼吁保障评估机构的编辑权、财务独立性及多主体参与权,并设立防报复机制与安全访问通道。此次签约机构均承担差异化任务:Apollo Research聚焦模型潜在违规行为探测;METR评估强化学习过程中的对齐盲区;Transluce检验训练后对齐测试的完整性;Goodfire则投入可解释性研究团队,深入分析模型内部逻辑并参与调试。

安全与激励机制并行

为保护知识产权,敏感数据访问受限。如涉及模型权重或结构,将采用替代分析方案。所有涉密人员须在OpenAI办公区使用指定设备,遵守最高级别安全规范。董事会下设的独立监督委员会将全程监督评估流程,确保原始报告不受干预。

报酬方面,Apollo Research与Goodfire获得非结果挂钩的现金补偿;METR与Transluce则以API额度和计算资源作为支持。评估机构拥有独立发布成果的权利,但可申请延迟公开,以便处理潜在风险。双方还计划于2027年初开展为期八周的后续评估,重点考察新模型接入权限及评估结果对产品发布的影响力。

声明:文章不代表币圈网观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险自担!转载请注明出处!侵权必究!
币圈快讯
查看更多
回顶部