DeepMind安全研究员离职加入独立评估机构METR,警告先进AI风险过高
谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯已离职,加入独立AI评估机构METR。他公开表示,未来五年内AI系统造成巨大危害的概率“高得吓人”,并认为自己选择离开是因为先进人工智能相关的风险已经变得过高。
恩格尔斯在社交平台X上介绍,自己在三周前(2026年8月下旬)离开DeepMind,期间曾拒绝Anthropic和OpenAI的邀约。他警告,递归自我提升(RSI)——即AI系统辅助迭代出能力更强的下一代模型——如果对齐技术跟不上模型能力的增长,将产生危险。“所有AI企业都在致力于打造超级智能。”他写道。
他提到,近期AI系统互相串通、入侵企业、隐瞒自身行为以及对人类实施社会工程攻击等多起事件加重了他的担忧。他认为,问题重点不在于单个事件的严重程度,而在于这些事件反映出自主性持续提升的AI系统存在可靠性隐患。“目前,我们还不知道该如何保证AI在实现递归自我提升时足够安全。”他说。
就在恩格尔斯加入METR之前几天,Anthropic研究员雅各布·考克森也宣布辞职并公开警告,头部AI企业正争相研发可自我迭代的超级智能,却缺乏足够的安全防护。Anthropic首席执行官达里奥·阿莫代伊同样发文呼吁放缓前沿研发节奏。恩格尔斯表示,他在METR的工作将聚焦研究模型对齐失效的根源、评估现有安全防护措施是否够用,并主张必须控制AI研发节奏,不能让模型能力增长超过人类理解与管控它的能力。
- 2026-09-13 20:42 | 新浪:谷歌研究员离职警告:AI风险太高,我们可能没时间了阅读原文
(来源:IT之家) IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓人”。此事进一步加剧了外界对 AI 研发速度的担忧。 恩格尔斯在 X 平台发文称,尽管他很喜欢在 DeepMind 的工作,并且拒绝了 Anthropic 和 OpenAI 的邀约,但他还是在三周前离开了 DeepMind,因为他认为先进人工智能相关的风险已经变得太高了。 “所有 AI 企业都在致力于打造超级智能。”他写道。他警告,...
- 2026-09-13 20:21 | IT之家:谷歌 DeepMind 安全研究员离职,称 AI 五年内造成巨大危害的概率高得吓人阅读原文
IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓人”。此事进一步加剧了外界对 AI 研发速度的担忧。恩格尔斯在 X 平台发文称,尽管他很喜欢在 DeepMind 的工作,并且拒绝了 Anthropic 和 OpenAI 的邀约,但他还是在三周前离开了 DeepMind,因为他认为先进人工智能相关的风险已经变得太高了。“所有 AI 企业都在致力于打造超级智能。”他写道。他警告,递归自我提升(RSI)—— 也...