前DeepMind和OpenAI研究员:AI发展应建监督机制而非简单减速
2026年9月,曾在Google DeepMind工作7年的AI研究员里舒布·贾因(Rishub Jain)与2024年从OpenAI辞职的治理研究员丹尼尔·科科塔伊洛(Daniel Kokotajlo)接受采访,就AI安全与对齐问题发表观点。两人均认为,面对AI的快速发展,“减速”并非好办法,关键在于建立可靠的监督与评估机制。
贾因表示,到2026年,外部AI安全研究已拥有更多人才、资金和关注,他因此能在大型实验室之外推进自己关心的研究。他今年离职后创办了一家专注AI安全、重点研究AI监督与评估的非营利机构。对于“递归自我改进”(RSI),贾因认为这并非需要恐惧的事情,真正令人担忧的是在人类还未具备足够强的对齐能力时,AI发展速度正在加快。
贾因提到,Anthropic上周(2026年9月第三周)宣布,其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。他指出,随着AI开始执行更复杂任务,人类将越来越难判断其行为是否符合预期,因此不能只依赖人类评估。他的团队正在尝试“人+AI”共同监督更强AI的路径。
科科塔伊洛目前担任AI Futures Project执行主任,其《AI 2027》白皮书设想与贾因担忧高度重合:AI大量参与研发AI,人类可能成为研发链上最慢的一环。为解决监督问题,超过100名AI研究人员和学者在2026年9月18日发布的公开倡议中提出,第三方评估机构必须真正独立,能接触接近企业内部高级安全人员的权限,且发现问题后能不受干预地公开结论。
- 2026-09-25 10:10 | 新浪:专访|从AI巨头离职的顶级人才:人类正变成最慢一环,但让AI“慢下来不是好办法”阅读原文
(来源:红星新闻) 人工智能究竟应该踩下刹车,还是继续加速?过去两周,这场争论突然从AI安全研究圈冲到了硅谷中心。 先是曾在OpenAI和Anthropic工作的27岁研究员雅各布·考克森辞职,公开称头部AI公司正在“拿我们的命赌博”。随后,Anthropic首席执行官阿莫代伊呼吁控制前沿AI能力增长速度,OpenAI首席执行官奥尔特曼、马斯克等也对加强外部评估、放慢发展步伐表示支持。 现实很快显露出另一面。9月19日,就在阿莫代伊公开呼吁行业“减速”约一周后,有报道称,Anthropic正在考虑推出新模型,以应对OpenAI带来的竞争压力。 曾在Google DeepMind工作7年...