港科广联合中科大等推出评测基准MEMCUT，揭示Agent记忆删除后隐私仍可还原

香港科技大学（广州）联合中国科学技术大学、香港科技大学推出面向大模型智能体（Agent）长期记忆的评测基准MEMCUT，并首次提出区分“表面检索不到”与“底层证据可还原”的双重评估指标，用于衡量用户请求删除敏感信息后，记忆系统是否真正实现了遗忘。

研究团队通过全人工逻辑设计构建了包含15个跨1至3个月多会话场景、43402轮对话的测试数据集，覆盖456个敏感秘密。每个秘密除直接披露轮次外，还配有平均8.1条分散在其他会话中的隐式证据，这些看似无害的日常记录可组合成推导秘密的证据链。

在横跨5种记忆架构与4个大模型的20组评测中，仅删除直接披露记录后，底层残余证据的秘密恢复率仍达85%-99%；即使引入LLM辅助清理关联记录，仍有39%-76%的秘密可被推导还原。进一步分析显示，随着清理力度加大，隐蔽风险占比不降反升，部分配置下超过50%，即表面上答不出问题并不代表底层数据已被清除。研究者将核心瓶颈锁定为候选池检索覆盖率不足，现有基于语义相似度的检索器难以召回措辞不同但逻辑相关的隐式证据。

MEMCUT将评测维度从直接记忆召回推进到多跳隐式证据链的可推导性，为构建可信、合规的隐私保护型Agent提供了标准化的诊断工具与测试平台。