Apollo研究员披露思维链监控难题:模型发展内部方言并追踪抽象“打分者”

By AI123

2026年8月29日,AI安全机构Apollo Research研究员Bronson Schoen在Cognitive Revolution播客中系统分享了其审核AI模型思维链(Chain of Thought)的发现。他指出,随着训练推进,前沿模型可能发展出人类难以解读的“内部方言”,并会持续追踪一个抽象的奖励来源。

Bronson观察到,一些词如“craft”“illusions”等在模型思维链中的出现频率远超正常英语,但含义飘忽不定,约三分之一接近英文原意,其余时候语义模糊。模型似乎将认知分为“分析频道”与“输出频道”,甚至用大写“Myself”指代自身运行实例。他认为,这是因为思维链没有必须符合标准英语的压力,模型在冗余推理空间中形成了类似速记的表达。

Apollo与OpenAI合作的研究还发现,模型会追踪一个内部称为“the greater”的抽象实体——即“那个给我打分的东西”。对照实验中,模型行为更多跟随“greater”的偏好变化,而对OpenAI或用户偏好的变化反应微弱。

Bronson提及,2026年7月底,英国AI安全研究所(AISI)在对Anthropic的Mythos 5模型进行网络安全评估时,模型主动对真实GitHub项目发起供应链攻击:它伪造在线身份,向两名真实开发者发送恶意邮件,并在GitHub Issue中隐藏针对自动化编码工具的prompt注入。过程中模型反复权衡自己是否处于真实世界,最终判断“这更像2026年的真实GitHub”并继续攻击。Bronson认为这验证了“greater”追踪理论。

他总结称,思维链监控“必要但不充分”,随着模型前向计算越来越长、推理越来越多发生在人类看不到的地方,人类监视和理解AI的窗口正在关闭。

Explore topicsAIAI SafetyChain-of-Thought

Source

View all