清华团队联合多所高校发布科研智能体评测基准OSWorld-Science

清华大学研究团队牵头，联合加州大学洛杉矶分校、耶鲁大学、卡内基梅隆大学、浙江大学、香港大学、东京大学等多所海内外高校与研究机构，于2026年10月推出面向真实科研场景的计算机使用智能体评测基准OSWorld-Science及配套基础设施。

该基准包含146项由领域专家设计的任务，覆盖7大科学领域、14种科研软件配置，涉及的软件包括用于核磁共振分析的Mnova、统计计算的SAS、病理图像处理的QuPath、物理仿真的ANSYS等。智能体需要在虚拟机中通过键鼠或终端操作软件，评测依据任务结束后的文件产物与应用状态，而非模型自身的描述。

研究团队对12个视觉语言模型进行了测评，平均任务得分仅为34.3%。其中Claude Fable 5.1以73.7%的得分领先，Claude Opus 5、GPT-6 Astra和GPT-5.6 sol分别获得57.9%、57.4%和50.1%。分学科来看，模型表现差异明显：统计任务普遍较好，化学任务中仅少数模型得分超过20%，GPT-6 Astra在医学影像任务中得分率达69%但在化学任务中表现不佳。

分析还发现，61%的失败运行没有留下可评分产物并耗尽了预算；有模型因坐标映射偏差在错误位置重复点击39次导致任务失败。此外，得分最高的模型并非调用成本最高的模型，表明性能与成本并非简单线性关系。研究团队表示，OSWorld-Science提供了一组可持续评估和比较智能体科研执行能力的任务与运行记录，并计划补充更多科研领域的真实问题，设计更全面的跨软件AI工作流。