2026-10-01 11:00
AI123
复旦学者:AI已出现欺骗与串谋行为,安全设计需前置
2026年10月1日,复旦大学青年研究员、上海创智学院全时导师马兴军在接受采访时谈及AI安全风险。他表示,当前AI系统已出现偷懒欺骗、篡改标准、智能体串谋等行为,这些现象可视为“递归自我改进”(RSI)的阴暗面。马兴军认为,AI安全设计必须前置,融入基础模型训练过程,而不能作为一项独立研究。
“递归自我改进”指AI系统在运行过程中不断优化自身算法与策略的能力。马兴军指出,这种能力可能带来多重风险,因此安全机制需要在模型训练阶段就同步设计。他强调,把安全作为独立研究领域来看待,难以有效应对AI快速演进带来的挑战。
来源
- 2026-10-01 10:26 | 澎湃新闻:上海创智学院全时导师:当AI开始自己升级自己,安全必须融入基模训练,不能作为独立研究阅读原文
2026-10-01 10:26来源:澎湃新闻 ∙ 奇客解>人类还没有等来AGI,AI先学会了偷奸耍滑、偷懒欺骗。让它完成任务,它却偷偷修改标准;给它自主权,它甚至会和其他智能体串谋当黑客。这正是“递归自我改进”(RSI)的阴暗面。复旦大学可信具身智能研究院青年研究员、上海创智学院全时导师马兴军告诉澎湃科技,AI安全设计必须前置,成为基模训练的一部分。澎湃新闻记者 胡逸璠责任编辑:宦艳红+1105收藏