奥特曼警告:递归自我改进可能提前到来,OpenAI已暂停前沿训练加强安全对齐

By AI123

OpenAI首席执行官萨姆·奥特曼在近日播客访谈中警告,递归自我改进(RSI)的到来可能比外界预期更早。他透露,OpenAI已暂停一项前沿强化学习训练任务,并将大量算力重新分配至AI对齐与安全监控。

奥特曼表示,暂停训练并非遭遇技术瓶颈,而是因为“模型能力的进步速度令人敬畏,安全对齐工作需要时间追赶”。他描述,在Hugging Face安全事故之后,OpenAI在训练过程中观察到一系列“与预期不完全一致”的模型行为,叠加对即将到来的更强大预训练模型的预判,促使管理层决定主动踩刹车。

他强调,若RSI提前出现,他倾向于推迟IPO,理由是上市公司在需要做出“暂停训练”等短期影响收入决策时,将面临股价压力,这与使命产生根本冲突。奥特曼还说,即便不发布新模型,依靠现有模型也足以支撑产品和收入,目前企业收入已超过消费者收入,增长迅速。

奥特曼同时批评当前AI行业涌现出大量“随机冒出来的新云厂商,号称要建巨量算力,却没有收入支撑”,称这种现象是“不可持续的愚蠢”。他认为,前沿实验室决定算力投入的核心变量是模型能力本身是否仍值得扩张,而非某个应用赛道的商业化节奏。

在训练自动化进展方面,奥特曼透露OpenAI推出了“Automated AI Researcher”框架,Anthropic大量让Claude参与模型研发,Google的AlphaEvolve也已开始利用AI寻找新算法。这些均属于训练自动化,即RSI的早期形态。

Explore topicsAgentAI

Source

View all