AI安全专家Paul Christiano加入OpenAI基金会董事会

每经记者｜罗雪琳  岳楚鹏    每经编辑｜梁露月 高涵 易启江     Anthropic对齐科学负责人Evan Hubinger认为，未来10年内AI导致人类灭绝的概率超过10%。9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能...

“在本十年结束前，人工智能（AI）有可能使人类全体覆灭。”电影《终结者3》剧照图片来源：豆瓣电影　　9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。　　这条X推文轰动全球，浏览量已超1.6亿。图片来源：Jacob Coxon社交媒体账号　　GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能否理解、监...

近一周，关于AI安全的议题争论在大洋彼岸达到新高度。当地时间9月10日，英伟达CEO黄仁勋在旧金山高盛科技会议上表示，网络安全很可能成为AI的下一个主要应用场景。他认为，AI加速自动化编程的同时，也加速了代码被攻击和漏洞被利用的速度，企业对AI安全工具的需求将随之增长。“有什么比制造问题更能创造需求的方式呢？”与黄仁勋从商业角度出发的逻辑不同，近一周，多位海外模型头部公司科研人员密集发声，强调AI安全风险已从理论走向现实，甚至认为AI可能在本世纪末“杀死所有人”。警示AI失控风险与递归自我改进9月8日，27岁的AI研究员雅各布·考克森（Jacob Coxon）宣布辞去在模型公司Anthropi...

行业需要强制性标准与国际协调机制。 　　近一周，关于AI安全的议题争论在大洋彼岸达到新高度。　　当地时间9月10日，英伟达CEO黄仁勋在旧金山高盛科技会议上表示，网络安全很可能成为AI的下一个主要应用场景。　　他认为，AI加速自动化编程的同时，也加速了代码被攻击和漏洞被利用的速度，企业对AI安全工具的需求将随之增长。“有什么比制造问题更能创造需求的方式呢？”　　与黄仁勋从商业角度出发的逻辑不同，近一周，多位海外模型头部公司科研人员密集发声，强调AI安全风险已从理论走向现实，甚至认为AI可能在本世纪末“杀死所有人”。　　警示AI失控风险与递归自我改进　　9月8日，27岁的AI研究员雅各布·考克森...

刚刚，OpenAI把一位「AI末日论」者，请进了自己的董事会。 9月9日，OpenAI官宣了一项重磅人事任命： Paul Christiano 正式加入OpenAI Foundation董事会，并进入了极度核心的安全与安保委员会。 Paul Christiano 上任第一天，这位新董事就在X平台发了份个人声明。 除了开头那句「很高兴加入」还算客气，接下来的话一点也没给新东家留面子： 如果我们在没有更可靠对齐技术的情况下造出超级智能，我预计人类会永久失去对它的控制。如果那发生了，多数人可能会死。 随后，他直言不讳地点名OpenAI，炮轰整个AI圈： ...

Paul Christiano, an influential AI researcher focused on keeping AI systems aligned with human interests and under human control, is joining the OpenAI Foundation board, the frontier lab said Wednesday. “I now believe there is a meaningful risk that rapid acceleration in AI capabilities leads to ca...

Paul Christiano joins the OpenAI Foundation Board and its Safety and Security Committee, bringing experience in AI alignment, safety, and standards.