一位佛罗里达州居民因使用人工智能工具记录个人思绪,意外触发法律程序,面临重罪指控。她原本只是将AI当作数字日记本,却未料到其输入内容被系统识别为潜在威胁。
据WINK新闻报道,博尼塔斯普林斯居民卡莉·米歇尔·海勒在9月26日的Claude对话中提及“枪击”李县警长办公室,次日又提到获得一把新枪。这些表述被平台的安全机制标记,并由人工审核团队评估后上报执法部门。
Anthropic在其服务条款中明确保留向执法机构披露用户行为或内容的权利,前提是公司善意认为此举有助于防止严重伤害。该政策自2026年9月10日起生效,且即使用户选择退出数据用于模型训练,其聊天记录仍可在三个月内被使用。
值得注意的是,被标记为高风险的内容可能被用作提升平台安全检测能力的训练材料,意味着一段看似私密的日记,最终可能成为算法模型的一部分。
海勒并非首例。今年9月,《旧金山标准报》披露,一名用户在虚构故事中描述购买AR-15步枪并瞄准Anthropic创始人达里奥·阿莫迪,同样被平台移交警方。尽管该用户称仅为玩笑,且未遭起诉,但公司表示其安全机制已有效运行。
此类机制并非仅限于Anthropic。OpenAI也曾在2025年6月评估是否向加拿大警方通报一账号的威胁性言论,最终因缺乏紧迫风险而未行动。该公司在2025年8月声明,针对他人的威胁性内容会进入人工审核流程,视情况决定是否移交执法部门。
目前,海勒案件将于11月开庭审理,再次引发公众对人工智能平台责任边界、用户隐私保护及技术监管框架的深度思考。