北京大学与易鑫(YIXIN)AI Lab合作的研究论文《Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores》被自然语言处理顶级会议EMNLP 2026主会接收(录取率15.4%)。该研究提出大模型推理评测中的“读出瓶颈”诊断视角,发现模型可能在隐藏状态中已编码正确答案,但被输出层系统性偏差掩盖,并设计了分阶段诊断方法验证。
研究团队在EMNLP 2026发表论文,提出多模态检索头(MMRetHeads)检测方法,揭示长上下文视觉语言模型内部存在一组注意力头负责将问题指向相关文本或视觉内容。研究覆盖Qwen3-VL、Gemma3等6个模型,并验证了这些注意力头对模型访问证据具有因果作用。