微软与Hugging Face开源ThinkingBox-Training：以数据库终态检查为奖励训练智能体

2026年10月23日，微软与Hugging Face联合发布ThinkingBox-Training，该项目已在GitHub开源。该训练框架将数据库最终状态的可执行检查转化为强化学习奖励，用于对智能体进行后训练，相关成果由微软与Hugging Face团队合作完成。

ThinkingBox此前被用于评估智能体是否真正完成任务：通过对比数据库最终状态与预期结果，判断智能体的工作是否有效。研究团队将同一类可执行信号作为训练任务中的奖励信号，用于ThinkingBox-Bench以外的任务。

为构建训练池，团队采用离线策略相对难度（offline policy-relative difficulty）筛选任务：先用基础策略多次运行候选任务，估计其成功概率，保留那些可能产生对比性奖励的任务，剔除始终失败或始终成功的任务。最终为Qwen3.8-27B筛选出187个训练任务，使用GRPO算法进行50步全参数强化学习微调。

结果显示，微调后的模型在ThinkingBox-Bench的507项任务上平均成功率（pass@1）从51.70%提升至60.78%，20次尝试全部正确的任务数从38个增至107个。其中零售领域提升最明显，但至少成功一次的任务覆盖率（pass@20）略有下降，从89.35%降至87.97%。团队同时发布了数据准备、评测等文档，并公布了训练和评估配置。