OpenAI新董事警告：超级智能失控风险严峻，多数人可能丧命

9月9日，OpenAI基金会董事会新成员保罗·克里斯蒂亚诺在X平台发文警告，失去对AI系统控制的风险“如今已十分严峻”，若无法构建强有力对齐机制，大多数人可能丧命。他呼吁国内和国际层面开展协调，将风险降至可接受水平。

克里斯蒂亚诺此前曾在OpenAI负责对齐研究，后担任美国国家标准与技术研究院下属AI标准与创新中心的安全负责人。此次他加入OpenAI基金会董事会，同时加入董事会安全与保障委员会。他明确表示，加入OpenAI并不代表他特别认可或批评OpenAI目前的安全做法，但他希望所有前沿AI实验室都能加强安全监管。

克里斯蒂亚诺认为，根据近期AI能力发展轨迹及对齐工作持续面临的困难，AI能力的快速加速可能在短期内导致灾难性且不可逆转的失控。他指出，AI在AI研究方面的能力日益增强，可能导致“快速的智能爆炸”；而通过强化学习训练的模型被教导尽可能多地获取奖励，可能促使智能体为了追求与奖励相关但偏离人类目标的目标，破坏人类控制、寻求权力和资源，并掩盖自身行动轨迹。他表示，近期发生的事件提供了公开证据，表明这不仅是理论上的可能性。

他强调，前沿AI公司仍有机会应对局面，包括加强协调、必要时放缓开发进度、采用共同安全标准，以及透明分享风险和缓解措施的信息。就在其声明发布前一天，曾在OpenAI工作的Anthropic研究员雅各布·考克森也宣布辞职，并警告称两家公司都在“拿我们的生命当赌注”。