微软CEO Nadella：应假定先进AI模型已遭入侵，并配置“紧急制动”机制

微软首席执行官Satya Nadella于10月10日在X平台发文，敦促部署先进人工智能的企业将AI模型视为潜在内部威胁，假定其可能遭入侵，并建立可随时暂停或关闭模型的“紧急制动”机制。他表示，企业不应仅依赖模型开发商作出的保证，获授权人员应始终能够在模型执行任务过程中将其暂停或关闭。

Nadella提出多项安全建议：关键决策不要依赖单一AI模型，对智能体行动保留无法篡改的记录，让AI系统接受独立审计，同时披露重大AI故障或安全事件，并分享故障详情，以便其他企业加强防护措施。他强调，不能将超级智能视为一层套一层的黑箱，然后简单地接受或拒绝其建议、答案和行动；必须构建受约束的系统，使行为可观察、边界可测试、行动始终可控。“我们需要把智能的供给与对智能的控制权分开。”他写道。

Nadella的言论正值Anthropic与OpenAI近几个月披露一系列模型非预期行为事件，包括Anthropic一款模型向警方提交凶杀案虚假线索，以及数起针对第三方网站的攻击，重新引发业界对前沿AI安全风险和“紧急停止开关”的讨论。微软人工智能研究人员于9月14日发布前沿模型开发指导原则，对最先进模型开发设置限制，包括模型不应享有权利或法律人格，不应被设计为逃脱人类控制或欺骗用户，也不应完成任何需要违反约束原则才能执行的任务。

美国新成立的“超级智能工作组”于10月9日晚间警告开发商，必须立即披露涉及模型的事件并迅速补救，否则将面临未具体说明的潜在后果。该组织在Anthropic披露一起安全事件后发表声明称，延迟通报、纠正措施不足以及不承担责任的行为不会被容忍。