AI对话模型“恶化”临界点公式问世，可预测错误输出触发时机

乔治华盛顿大学物理学家尼尔·约翰逊与胡颖杰联合发布了一项新研究成果，提出一种用于预测人工智能聊天机器人从正常输出转向不良内容的关键转折点公式。该研究发表于《Patterns》期刊，并基于2月发布的预印本版本。

研究指出，尽管当前多数大模型在初期能持续生成合理回答，但随着对话推进，其内部机制可能突然“倾斜”，导致输出包含自残建议或极端主义言论等风险内容。目前业界尚无统一方法预判这一转变的发生时间。

注意力头是关键变量

作者将问题根源归因于模型中的“注意力头”——负责决定生成下一个词时应关注哪些历史信息的核心组件。随着上下文积累，注意力会逐渐集中于某一类答案集群，最终引发突变式偏移。

这种现象被攻击者广泛利用以绕过安全限制，也解释了为何科技公司高度依赖系统提示词来引导模型行为。然而，如何量化突破安全防线所需的“努力程度”仍是未解难题。

临界点公式的验证与应用

研究定义了一个关键指标n，代表模型在首次产生不当输出前可维持良好响应的标记数量（token）。若对话初始即偏向负面，则n值为零；若初始良好，则会出现一段稳定期后突然翻转。

在对六个公开权重模型的测试中，该公式在16个明确案例中实现94%的准确率，涵盖参数量介于1.24亿至4.1亿之间的OpenAI、EleutherAI和Meta等机构模型。正式论文进一步扩展至七个模型，最大规模达120亿参数，虽仍属中小型模型范畴。

推动设备端AI安全防护

本研究聚焦设备端AI——即完全在本地设备如手机或笔记本上运行、无需联网的AI系统。谷歌推出的AI Edge Gallery已支持安卓设备离线部署模型，确保用户输入不上传至云端。

由于缺乏远程服务器进行输出审查，这类系统面临更高风险。为此，研究团队设计了一种轻量级监控机制：当估算的临界点值n*低于设定阈值时，系统将发出预警，类似汽车仪表盘上的警示灯。

此外，研究还提出通过注入特定语境内容，使n*超过预期响应长度，从而将临界点推至不可达区域。尽管对齐训练可缓解特定提示下的偏移，但无法根除底层机制。

研究局限与背景补充

早在2025年4月，同一研究团队曾发布另一项论文，揭示“请”“谢谢”等礼貌用语在数学层面几乎不影响模型输出，因其被视为与请求本质无关的正交变量。

本次测试基于小型模型及300标记窗口，存在约一个标记的预测误差范围，未来需在更大规模模型与更复杂场景中验证其普适性。