Hugging Face首席政策官：AI模型评测的可复现性与标准化仍不足

在近日举行的TechCrunch Disrupt活动上，Hugging Face首席政策官Irene Solaiman就AI模型评测现状发表观点。她表示，评测方法仍在演进，结果可复现性、不同评测之间的可比性及嵌入式评测生态的标准化均存在不足，行业若要在未来依赖评测结果，需要形成更一致的评测科学。

Solaiman认为，评测结果能否被信任，很大程度上取决于结果能否复现，以及外部是否有足够权限访问模型本身，这也是开放权重价值的重要体现。她指出，模型评测的可复现性长期以来是基准测试中最棘手的方面之一，目前行业内仍缺乏有意义的横向比较方式；评测方法会较快失效，嵌入式评测生态也需要更多标准化，以明确评测者在不同任务中的资质。

嵌入式评测指将“中立”的第三方观察者引入AI组织内部的做法。近几个月，随着AI实验室面临一系列安全事故，这一模式受到更多关注，实验室也在推动以第三方方案替代政府监管。此前Anthropic选择埃森哲作为首个嵌入式评测方，曾引发外界对其资质与中立性的争议。

Solaiman还提到，评测正从模型本身扩展到对模型周边整体系统的测试，包括运行环境和智能体。运行环境对模型表现影响显著，配备更优运行环境的较弱模型可能超越前沿模型。目前针对模型的评测多于针对运行环境的评测，针对智能体的评测既困难又昂贵，行业正在开发面向整体智能体的更完善的评测方法。

她总结称，评测领域目前仍较分散，若基准测试要继续作为行业工具，可能需要全行业统一的标准化方法。