Anthropic对齐负责人：超级智能或致人类灭绝风险超10%

今天，整个AI圈都被这件事刷屏了。Anthropic的核心预训练研究员离职了。他发布的一篇离职长文，在X上已经浏览破亿。更惊人的是，Anthropic对齐负责人Evan Hubinger不仅没有对此公关，反而站出来承认——「我们团队内部真诚地相信，AI可能会杀死全人类。我个人预测，未来十年内，这个概率超过了10%。」他的结论是：我们根本没有解决超级智能失控的方案，而且当前的研发路线明显已经跑偏了。10年内，AI毁灭人类的概率已经超过10%，人类危险了。目前，这篇帖子浏览量已经破亿一封辞职信引爆硅谷：「他们正拿全人类的命在赌博！」Jacob Coxon，是一位顶尖AI研究员。过去三年里，他先后在...

来源：数字生命卡兹克昨天呢，我在X上看到了一条流量已经过了1亿的帖子。讲道理，我在X上已经很久很久没有见过这种流量的帖子了。发帖的人叫Jacob Coxon。刚刚从Anthropic辞职。他说，过去三年，他先后在OpenAI和Anthropic做大模型预训练。然后现在，他不干了。原因也非常离谱。因为，他觉得OpenAI和Anthropic正在朝着能够自我改进的超级智能一路狂奔。并且，拿着所有人的生命下赌注。他甚至说，真正参与制造这些前沿AI的人里面，有不少人私下里真的相信：如果事情最后失控，人类可能在这个十年结束之前灭绝。我第一反应其实是：这哥们谁啊？不会又是哪个营销号吧。。。然后就验证了一下...

当地时间9月8日，Anthropic对齐科学负责人Evan Hubinger表示，他个人认为未来十年人工智能“杀死全人类”的概率超过10%。此前，Anthropic研究员Jacob Coxon宣布辞职，称Anthropic和OpenAI正竞相开发可自我改进的超级智能，“拿我们的生命赌博”。 Hubinger称，Anthropic确实认真看待AI可能灭绝人类的风险，但目前尚未找到解决超级智能对齐问题的方案，也没有明确迹象表明公司正朝这一目标推进。他表示，目前AI模型本身的风险较低，真正担忧的是通过递归自我改进产生超级智能。Coxon则称，近期Hugging Face遭AI模型攻击等事件为AI实...