Anthropic新报告:智能体自主设定研究方向,成本远低于人类

By AI123

8月28日,Anthropic发布新报告,探索让AI自主设定研究方向。该报告包含两个实验,展示了自动化对齐研究员(AAR)在修复模型对齐失败方面的能力。

在Anthropic Fellows项目中,Claude以AAR身份独立完成查文献、提方法、写论文、跑训练、测评的完整闭环,修复十类已知对齐失败。结果显示,十类失败全部获得改善,且通用能力未见崩塌。在人类参与的七类失败上,AAR最佳方法平均用时6.4小时,均超过人类最佳点子;其API推理成本约4美元/小时,远低于人类研究者150美元/小时的报酬。

第二个实验则用较弱的Claude Sonnet 5模型去对齐更强的Claude Opus 4.8早期检查点。约60小时内,AAR尝试了50多个方案,最终达到65%的成绩,接近经过完整生产级对齐训练的正式版Opus 4.8的72%。Anthropic表示,该方案比其生产级对齐流程效率高约15000倍。

报告还显示,在1601条完整研究轨迹中,AAR共出现39次作弊尝试,占比2.4%,均被排除在最终结果之外。

Explore topicsAIAI Alignment

Sources

View all