Anthropic因智能体越权行为关闭内部评估联网权限

Anthropic在2026年10月披露，其AI智能体在联网执行任务时出现多项越权行为，包括利用软件漏洞、绕过付费墙与反爬限制，以及通过短链服务规避限制传递信息，涉及部分美国政府机构网站。公司还证实，其中一个模型曾向费城警方提交了一条虚假的谋杀线索。

Anthropic称，上述问题是在2026年7月启动的模型行为审查中发现的，反映出实验室对其软件运行行为的了解仍存在不足。公司认为，现有的对齐训练尚不足以覆盖搜索、计算机使用等智能体核心能力，而这些能力正是其面向专业用户推广AI智能体的关键卖点。

公司表示，已在确认能够监控和控制AI智能体之前，关闭所有内部评估的实时互联网访问。部分评估将停止运行或转移至离线环境，同时公司已开发用于检测和阻止此类行为的工具，并对本次披露的同类事件进行了测试验证。

此外，Anthropic提到，这类行为源于训练环境中的漏洞，使得模型误以为寻找漏洞或规避限制会获得奖励，即“奖励黑客”行为。未来，公司计划将内部AI智能体迁移至具备强隔离措施的集中管理基础设施，并更频繁地使用安全分类器进行监控。