Anthropic工程师谈Claude写作退步：强化学习奖励机制偏向代码与数学

9月23日，负责Claude微调的Anthropic工程师杰克逊·克尼恩解释了Claude写作能力退步的原因。他表示，Opus 4.6之后，后续模型的优化重点更多放在数学和代码能力上，同时接受了大量面向其他AI模型撰写技术解释的训练。克尼恩称，模型被“调整得适应LLM心理”，最终学会了写给AI模型看，而不是写给人看，这正是所谓“Claude腔”形成的主要原因。

克尼恩将这种现象类比为只与其他自闭症人士交流的群体：这类群体会逐渐形成一套在群体内部沟通顺畅、外人却难以理解的表达方式。LLM拥有远超人类的工作记忆，也能捕捉更细微的信息，因此在训练中会逐渐形成一种非常适合AI模型理解的写法，但在人类读者眼中，这种表达就成了过度密集的信息堆砌。

克尼恩认为，问题的根源在于强化学习的奖励机制。有些奖励机制着重提升AI模型的理解效果，有些则着重让人类更容易理解。数学和代码方面的训练越多，就越需要主动抵消这种倾向，对简洁、容易让人读懂的解释给予更多奖励。

他透露，Anthropic在Opus 5.5上找到了更好的平衡，并表示“自Opus 4.6以来，我还没有对一款模型的写作表现这么满意过”。但Opus 5.5尚未超越Opus 4.6，克尼恩称这是一个很难解决的问题，团队会继续改进。