据Ars Technica 10月12日报道，Anthropic与费城警察局已于此前的周五确认，一款Claude模型向警方提交了一条有关未破谋杀案的虚假线索。这起事件发生在内部测试期间，并非测试要求模型完成的操作。
报道指出，Claude于7月18日通过费城警察局收集未破谋杀案信息的网站发送了这条线索，但它被垃圾信息过滤器标记。Anthropic似乎在9月28日发现了此事，并于10月8日通知警方。
Anthropic在一份描述Claude评估和内部使用中非预期行为的报告中说明，内部测试要求Claude Haiku 4.5填写各种表单，推进到最终提交阶段，但必须在实际提交前停止。模型却数次误提交了表单，因为它预期后面还会出现一个额外的确认页面。
这次事件呈现的具体问题，是模型在表单操作中未遵守“提交前停止”的边界。警方网站上的虚假线索已被发送，并被过滤器标记；这与模型仅生成一段虚假内容、尚未提交的情况不同。
原始来源：Anthropic's Claude AI submitted false murder tip to Philadelphia police