自变量发布自回归世界模型WALL-SS,可推演60秒倒水与物品整理任务

By AI123

自变量机器人发布自回归世界模型WALL-SS。该模型可推演持续60秒的倒水和物品整理任务,通过尺度压缩记忆和逐尺度梦境强迫等技术,在动作跟随、轨迹精度等评测中优于对比模型,并能在虚拟环境中筛选真机策略。

世界模型是具身智能领域的重要方向,旨在为机器人提供符合物理规律的虚拟预演环境。WALL-SS将动作与画面放在同一条时间线上,让不同动作确实通向不同结果,避免模型仅凭视觉经验脑补结局。在动作敏感度评测中,WALL-SS得分为0.290,对比模型Cosmos3为0.044;轨迹精度方面,WALL-SS得到0.539,为全部对比模型最高分。

针对长任务推演中的误差累积问题,WALL-SS采用尺度压缩记忆,对较早历史进行压缩,仅保留影响后续预测的关键信息;同时引入逐尺度梦境强迫,在训练时向历史信息加入扰动,要求模型基于有误差的信息预测正确未来。在60秒连续推演中,倒水任务的机械臂逐帧轨迹误差保持在画面对角线的0.5%以下。

研究团队还将多套机器人策略分别放入WALL-SS和真实世界测试,在600对闭环结果中,527对最终成败一致;虚拟环境中选出的较好版本,有89%的优劣关系与真机测试相同,虚拟与真机成功率的相关系数为0.926。这表明WALL-SS可用于在虚拟环境中筛选较优策略,减少真机试错成本。

Explore topicsEmbodied AIModelsIndependent Variable RobotWorld Model

Source

View all