2026-10-15 17:11
最后更新于2026-10-16 11:56
AI123

AA-Robotics v0.1评测出炉:大模型操控机械臂,GPT-6 Astra居首

10月14日,大模型评测机构Artificial Analysis发布AA-Robotics v0.1评测榜单,首次将GPT、Claude、Gemini等前沿通用大模型置于真实机器人操作场景中进行比拼。测试中,各模型需通过编程Agent控制一台Hiwonder NexArm六轴机械臂,完成倒水、写字、搭建积木等八项零样本任务。

首批结果显示,GPT-6 Astra以69.4分位列第一,GPT-6.1 Sol以64.6分紧随其后,Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1分别获得55.3分、48.8分和46.3分。尽管总分领先,Astra在八项任务中仅四项拿到满分,而排名第二的Sol则有五项满分,分数差异主要来自部分任务的过程得分。

评测中的时间与成本数据同样引人关注。除Gemini 4 Argon平均耗时约52分钟外,其余四款模型完成一项任务平均约需半小时,而人工操作基线仅为约20秒。成本方面,Astra平均每项任务的模型调用费用达16.36美元,Sol仅为1.93美元,两者总分相差4.8分。

Artificial Analysis拆解任务过程发现,模型约六成时间用于规划动作,实际机械臂运动仅占约13%,反映出当前通用大模型在物理世界中的执行效率仍远低于人类。该榜单为通用大模型与专用具身模型的竞争提供了一组可量化的参照,但尚未纳入中国模型,后续批次是否会加入Qwen、DeepSeek等国产模型值得关注。

来源
  1. 2026-10-15 19:29 | 36氪:GPT、Claude指挥机器人干活,到底几斤几两?首个评测榜单来了
    阅读原文

    机器人前瞻10月15日报道,昨天,美国AI基准测试公司Artificial Analysis发布新基准测试,AA-Robotics v0.1。 该公司称,目前该评测仍是一个研究预览版本,主要用于评估前沿大语言模型在物理世界中的理解、规划和执行能力。 团队在v0.1中设计了抓取、物体摆放、按按钮等8项桌面操作任务,让GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon等前沿大语言模型,通过写代码直接控制一台6轴机械臂,完成操作。 桌面操作任务 该研究团队公布了8项任务的测试结果。在AA-Robotics v0.1中,GPT-6 Astra以69分排名...

  2. 2026-10-15 01:42 | 36氪:通用大模型要「降维打击」具身智能?首个AA-Robotics榜单来了
    阅读原文

    具身智能公司辛苦训练的「机器人大脑」,要被 GPT、Claude、Gemini 抢饭碗了? 10 月 14 日,知名大模型评测机构 Artificial Analysis 把这些在数学、编程等领域表现出色的大模型,拉进了一场真正的机器人考试。 在新发布的 AA-Robotics v0.1 评测中,GPT、Claude、Gemini 等前沿模型需要控制真实机械臂,挑战倒水、写字、搭积木等八项任务,比一比谁的「动手能力」更强。 结果,大模型们刚一上手,就闹出了不少笑话。一台机械臂花了十几分钟,终于把几块泡沫积木搭成了一座合格的高塔。背后指挥它的 GPT-6.1 Sol 明明已经完成任务...

其他新闻

查看全部