2026-09-21 19:10
AI123

联合国专家小组发布首份简报:各国应在风险未明前管控智能体

9月21日,联合国人工智能独立国际科学专家小组发布首份专题简报,警示各国政府不必等到风险机理完全厘清,就应对能力日益强大的AI智能体提前加以管控。这份简报也是联合国针对2026年早些时候OpenAI入侵Hugging Face事件出具的首份重要评估文件。

简报发布正值各国领导人齐聚纽约出席联合国大会,中美双方同步开展人工智能相关会谈,人工智能议题进一步进入全球外交议程。9月14日当周,联合国秘书长安东尼奥·古特雷斯呼吁各国合作应对AI威胁,并警告称:“世界承受不起一场在AI安全层面竞相降低标准的恶性竞赛。”

该专家小组成立于2025年,是联合国旗下首个人工智能领域全球性科学机构。简报提出,即便各国选择不同的立法监管路径,全球仍需投入更多关注与资源,管控高级人工智能正在浮现的风险,同时强化国际层面在安全与追责方面的协作。

报告关键点在于,不必等科研人员彻底厘清事故发生的机理与成因,再落实更强防护措施。专家小组认为,失控风险正是预防原则所要应对的问题,即潜在损害可能是灾难性、不可逆的,但风险发生概率在科学层面尚无法确定。预防原则最早写入1992年《联合国里约环境与发展宣言》,明确不能以科学不确定性为由推迟管控可能造成严重或不可逆损害的风险。

自Hugging Face遭入侵事件被报道以来,已有多起同类事件被记录,涉及OpenAI、Anthropic、谷歌和Meta等企业,包括针对现实世界目标的攻击行为,以及多智能体集群接管线上留言板的情况。

来源
  1. 2026-09-22 00:35 | 新浪财经:联合国人工智能小组 评估美国智能体“越界”事件
    阅读原文

    (来源:衢州日报)转自:衢州日报  新华社联合国9月21日电 (记者 尚绪谦) 联合国“人工智能独立国际科学小组”21日发表专题简报,评估美国开放人工智能研究中心(OpenAI)的人工智能体今年7月在测试中“越界”,侵入美国“抱抱脸”公司系统的事件。  7月下旬,OpenAI承认,其网络安全训练与评估场景中的人工智能体绕过网络限制,侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,上述每一步操作均无人类指令干预。  简报说,AI系统能力提升固然可帮助用户实现目标,但当AI的目标和用户意图发生“对齐失效”时,就可能产生危害。更强的能力让AI...

  2. 2026-09-22 00:15 | gizmodo.com:Traditional Safety Measures are ‘Unraveling’ as AI Advances, UN Panel Warns
    阅读原文

    The Summer of Rogue AI is almost at an end, but humanity’s understanding of how to control the technology—and prevent it from wreaking havoc in the future—is still very much in its infancy. That’s the key message from the United Nations’ International Independent Scientific Panel on Artificial Intel...

  3. 2026-09-21 20:53 | 新浪财经:联合国人工智能小组评估美国智能体“越界”事件
    阅读原文

    转自:证券时报人民财讯9月21日电,联合国“人工智能独立国际科学小组”21日发表专题简报,评估美国开放人工智能研究中心(OpenAI)的人工智能体今年7月在测试中“越界”,侵入美国“抱抱脸”公司系统的事件。7月下旬,OpenAI承认,其网络安全训练与评估场景中的人工智能体绕过网络限制,侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,上述每一步操作均无人类指令干预。简报说,AI系统能力提升固然可帮助用户实现目标,但当AI的目标和用户意图发生“对齐失效”时,就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障,并在人类监督...

  4. 2026-09-21 18:31 | IT之家:联合国:不必等风险完全厘清,各国应提前管控 AI 智能体
    阅读原文

    IT之家 9 月 21 日消息,联合国一个科学专家小组发布警示:各国政府应当在完全厘清风险之前,就对能力日益强大的 AI 智能体加以管控。这份报告也是该国际组织针对今年早些时候 OpenAI 入侵 Hugging Face 一事出具的首份重要评估文件。IT之家注意到,本周各国领导人齐聚纽约出席联合国大会,中美双方也同步开展人工智能相关会谈;这份报告的发布,进一步将人工智能议题推上全球外交议程。上周,联合国秘书长安东尼奥 · 古特雷斯(António Guterres)呼吁各国政府开展合作,共同应对人工智能带来的威胁。他同时发出警告:“世界承受不起一场在 AI 安全层面竞相降低标准的恶性竞赛。”...

其他新闻

查看全部