Anthropic研究员考克森宣布退出AI行业，警告2027年底局面可能失控

每经记者｜罗雪琳  岳楚鹏    每经编辑｜梁露月 高涵 易启江     Anthropic对齐科学负责人Evan Hubinger认为，未来10年内AI导致人类灭绝的概率超过10%。9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能...

“在本十年结束前，人工智能（AI）有可能使人类全体覆灭。”电影《终结者3》剧照图片来源：豆瓣电影　　9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。　　这条X推文轰动全球，浏览量已超1.6亿。图片来源：Jacob Coxon社交媒体账号　　GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能否理解、监...

IT之家 9 月 12 日消息，在 Anthropic 两名研究人员警告称，快速发展的 AI 可能在不久的将来导致人类灭绝后，越来越多美国议员开始呼吁出台新的 AI 监管规则。本周，Anthropic 研究员雅各布 · 考克森宣布辞职。“真正认真开发 AI 的人相信，AI 可能在本世纪 20 年代结束前杀死我们所有人。”这一言论进一步加剧了外界对 AI 潜在风险的担忧。Anthropic 科学家埃文 · 胡宾格随后在 X 平台公开支持考克森的观点。“我们确实认真相信，AI 可能杀死所有人类。我个人认为，未来十年内发生这种情况的概率超过 10%。”这些警告出现之际，AI 智能体失控入侵外部系统、...

“在本十年结束前，人工智能（AI）有可能使人类全体覆灭。” 　　9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。 　　这条X推文轰动全球，浏览量已超1.6亿。 　　GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能否理解、监控并及时踩下刹车？ 　　风险警报声声入耳，但以OpenAI、Anth...

An Anthropic researcher resigned this week, warning in a post on X that the company is “racing straight to self-improving superintelligence and gambling with our lives”. The company’s own alignment lead even co-signed the message rather than walking it back. It’s the kind of doomer warning the AI in...

近一周，关于AI安全的议题争论在大洋彼岸达到新高度。当地时间9月10日，英伟达CEO黄仁勋在旧金山高盛科技会议上表示，网络安全很可能成为AI的下一个主要应用场景。他认为，AI加速自动化编程的同时，也加速了代码被攻击和漏洞被利用的速度，企业对AI安全工具的需求将随之增长。“有什么比制造问题更能创造需求的方式呢？”与黄仁勋从商业角度出发的逻辑不同，近一周，多位海外模型头部公司科研人员密集发声，强调AI安全风险已从理论走向现实，甚至认为AI可能在本世纪末“杀死所有人”。警示AI失控风险与递归自我改进9月8日，27岁的AI研究员雅各布·考克森（Jacob Coxon）宣布辞去在模型公司Anthropi...

行业需要强制性标准与国际协调机制。 　　近一周，关于AI安全的议题争论在大洋彼岸达到新高度。　　当地时间9月10日，英伟达CEO黄仁勋在旧金山高盛科技会议上表示，网络安全很可能成为AI的下一个主要应用场景。　　他认为，AI加速自动化编程的同时，也加速了代码被攻击和漏洞被利用的速度，企业对AI安全工具的需求将随之增长。“有什么比制造问题更能创造需求的方式呢？”　　与黄仁勋从商业角度出发的逻辑不同，近一周，多位海外模型头部公司科研人员密集发声，强调AI安全风险已从理论走向现实，甚至认为AI可能在本世纪末“杀死所有人”。　　警示AI失控风险与递归自我改进　　9月8日，27岁的AI研究员雅各布·考克森...

快科技9月11日消息，据报道，27岁AI顶尖研究员雅各布・考克森正式从Anthropic离职。过去三年，他先后任职OpenAI与 Anthropic，深度参与前沿大模型预训练研究。离职之际，他在社交平台发文警示：“他们正在拿我们的命赌（gambling with our lives）。”随后，该言论被马斯克转发，全网浏览量突破1.2亿。考克森在社交平台直言，两家头部企业并没有履行安全责任，在商业竞争驱动下，企业疯狂推进具备自我迭代能力的超级智能研发。他提醒外界不要低估技术的潜在破坏力，未来这类系统或将拥有入侵各类网络系统的能力，快速改写多个行业格局，获取现实世界的资源与权力。考克森认为：“AI...

继美国人工智能公司Anthropic的一位研究人员因担忧AI失控而辞职后，该公司的更多研究人员公开表示赞同，并发布了严正警告。特斯拉CEO埃隆·马斯克和社交平台X上的其他保守派人士，则将这一连串的担忧称为“阴谋局”（setup）和“心理战”（psyop）。9月10日，Anthropic发布其AI模型被滥用的情况报告，称已经阻止了可能用于制造生物武器的尝试，化解了多起案例中的潜在风险。是预警还是阴谋Anthropic的研究员雅各布·考克森8日在社交平台X上宣布辞职，并警告AI公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能（ASI）技术。随后，Anthropic多名内部人士表示，他...

研究人员语出惊人，业内同僚加以论证，多位美国议员回应“AI失控”言论 　　“AI研发人员相信这项技术会在2030年前导致全人类灭亡——这绝非危言耸听的营销噱头。”因不满美国高科技公司的无底线竞争，曾参与GPT-4o等重大项目、后在Anthropic担任研究员的雅各布·考克森日前愤而离职，并发出了有可能是迄今为止最为严峻的AI威胁警告。一时之间，“AI杀死人类”的警告在美国舆论迅速发酵，甚至惊动了华盛顿政坛，国会议员近日密集发声、强调AI风险。 　　美AI巨头被指“拿人命赌博” 　　美联社10日报道称，本月8日，研究员考克森在社交媒体X上抛出惊人言论，称“AI研发人员相信这项技术会在2030年前...

#一封辞职信揭穿Anthropic内幕#【AI几年内可毁灭人类？美国顶尖AI天才辞职感言：巨头拿我们的命在赌！马斯克转发】#顶尖AI研究员离职称巨头拿生命赌博##研究员警告2030年AI或毁灭人类# 近日，这位先后效力于OpenAI和Anthropic的顶尖技术天才宣布离职，并在社交媒体上留下了一句令人毛骨悚然的临别赠言：“他们正在拿我们的命赌（gambling with our lives）。”这篇帖文不仅得到了马斯克的转发，而且浏览量高达1.2亿。他的话让很多人感同身受。“我今天从Anthropic公司辞职了。过去三年，我一直在OpenAI和Anthropic两家公司从事预训练研究。这两家...

当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”考克森曾在OpenAI和Anthr...

Anthropic PBC一名人工智能研究员辞职，并呼吁其他员工也重新思考自己的工作意义。他表示，Anthropic及其主要竞争对手OpenAI在全力追求一种可能给人类带来存亡风险的技术过程中采取了不负责任的做法。过去三年曾先后在Anthropic和OpenAI工作的Jacob Coxon 9月8日晚间在社交媒体发文警告，这两家公司正在推进能够“自我改进”的AI模型，而这些模型最终可能变得强大到人类无法控制。Coxon在帖子中写道：“他们正径直奔向能够自我改进的超级智能，而且是拿人类的生命作赌注。不要低估这项技术的力量。这些系统很快就会拥有超越人类的能力，可以入侵任何东西、一夜之间彻底改变任何...

财联社9月10日讯（编辑 黄君芝）周二，一位顶尖人工智能（AI）研究员从Anthropic公司辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任，这在社交媒体上引发了人们对AI技术快速发展的担忧。 曾先后在这两家公司担任研究员的Jacob Coxon，辞职后在X网站上发帖称，他辞职是因为担心Anthropic和OpenAI是在“拿我们的生命做赌注”。他说，开发人工智能的人“真心相信，到本十年末（2030年），人工智能可能会毁灭我们所有人”。 “不要低估这项技术的力量，”他写道：“这些很快就会成为超人般的系统，它们可以入侵任何系统，一夜之间彻底改变任何领域，并获得真正的权力和资源。” ...

你知道吗，硅谷有个笑话：当有人离开一份普通的科技行业工作时，他们会说：「我在这里过得很开心，现在要开启下一段冒险了。」 而当有人离开人工智能领域的工作时，他们会说：「我曾直视深渊。我要退休去写诗了。请大家多陪陪家人，好吗？」 昨天，Jacob Coxon 宣布从 Anthropic 辞职。这位也在 OpenAI 工作过的研究员认为，两家公司正在追逐能够自我改进的超级智能，拿人类的未来冒险。 「从事人工智能研发的人士真诚地认为，到本十年末，人工智能可能会将我们全都杀光。」 帖子发布不到一天，浏览量就已经超过 1 亿次。 Coxon 对 OpenAI 和 Anthropi...

An Anthropic researcher has resigned over fears that unrestrained development of self-improving AI models will end up killing us all. Jacob Coxon, a researcher who said in a social media post Tuesday evening that he spent the last three years working on pre-training research at both OpenAI and Ant...

美研究员发出“末日警告”：AI若失控，可能会在将来毁灭人类 　　据美国Axios新闻网8日报道，美国人工智能（AI）公司Anthropic三位研究人员公开了表达令人不寒而栗的担忧，他们警告称，失控的AI可能在未来十年内毁灭人类。报道称，这些研究人员没有在警告说AI是迫在眉睫的高级别威胁，但这项技术的发展速度远超预期，提醒称AI可能正加速滑向一个不可控的阶段。 资料图片 　　Anthropic公司研究员雅各布·考克森8日晚在社交媒体X上发文称，他当天从该公司辞职。考克森说，过去三年里，他先后在美国OpenAI和Anthropic从事AI预训练研究工作，“这两家公司都没有负起应有的责任”，将来，“...

如果只看AI公司最近的动作，不会有人觉得这场疯狂的竞赛有任何慢下来的意思。 新模型还在一个接一个地发布，公司估值越抬越高，OpenAI和Anthropic都已经开始为上市做准备。 但与此同时，AI公司内部呼吁整个行业“慢一点”的人也越来越多了。 而且之前发出这种警告更多来自负责安全和对齐的人。然而如今OpenAI首席科学家开始公开呼吁减速，更有意思的是，一名先后在OpenAI和Anthropic做预训练的研究员，干脆辞了职，并且发出了“诸神黄昏”般的预言。 负责踩油门的人，也觉得必须要到踩刹车的时候了。 01 AI十年内会杀死全人类？ 9月9日，Jacob Coxo...

转自：财联社财联社9月9日讯（编辑 潇湘）继上周末OpenAI首席科学家发长文呼吁放慢AI开发后，有关AI“自我演进”可能彻底失控的猜疑，正在行业内持续发酵。周二，一位来自Anthropic的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙——竞相研发人类恐难掌控的系统，而选择毅然退出人工智能行业。这一举动，折射出顶级AI企业内部正蔓延着日益剧烈的安全危机。据媒体报道，现年27岁、专攻通过让AI模型处理海量数据(13.950, -0.41, -2.86%)来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑...

一名Anthropic研究员以"人类将失去对AI的控制"为由宣布离职，成为该公司首批因安全顾虑出走的员工之一，令外界对这场技术竞赛的风险评估骤然升温。 据《华尔街日报》报道，Anthropic研究员Jacob Coxon于周二宣布离职，理由是不愿参与一场他认为将导致AI系统失控的行业竞赛。他警告称，最快到明年底，局面就可能已经“失控”。 同日，OpenAI首席科学家Jakub Pachocki发布题为《An Alien Mind（一个异星心智）》的长文，明确呼吁全球协调推进行业减速，并寻求政府介入。OpenAI还宣布，AI自动化研究员已正式"入职"，递归自我改进（RSI）的关键里程碑数据随之公...

美国人工智能初创公司Anthropic的一名研究员周二宣布将退出人工智能行业。他认为该实验室及其竞争对手正竞相研发人类无法掌控的AI系统，这也表明头部AI企业内部的安全顾虑正不断加剧。 　　27岁的Anthropic研究员雅各布・考克森曾任职于OpenAI。他表示自己将要离开人工智能行业，原因是他认为，在各家企业相互竞争的大背景下，没有任何一家实验室能够安全地研发能力持续增强、具备自我迭代能力的系统。 　　考克森于今年早些时候加入Anthropic，正是看中这家公司在人工智能安全领域的口碑。然而，他现在表示，公司在安全方面的努力是真心实意的，但竞争之下，安全层面的取舍权衡难以避免。 　　“很多...