哈佛、英伟达等开源机器人探索框架RAX

2026年10月，哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学的研究团队联合推出开源框架RAX（Robot Agent eXploration，机器人智能体探索），旨在扩大机器人智能体在真实与仿真环境中的自主探索规模。

RAX采用前后端分离设计：后端运行厂商驱动、仿真器与底层控制器，前端只向智能体暴露工具和技能接口。智能体拿到自然语言指令、目标图像和探索回合预算后，通过在线试错积累经验，将有效决策编译为模块化自主程序，并存入可长期保存的工作空间。该工作空间包含程序、笔记和经过验证的技能，供后续任务复用；每次交互成功后，决策会逐步从高层推理转移给自主执行程序。整个流程无需人工遥操作，也无需预训练策略或人工设计的动作原语，底层语言模型的参数始终保持固定。

针对空气炸锅操作等任务，智能体结合RGB-D图像与力信号构建三维世界模型，自主规划抓取、拉动和放物等动作。研究团队在多个仿真基准上对单臂、双臂、灵巧手、移动操作和人形机器人等平台进行了测试。随着探索规模扩大，机器人在未见环境中的泛化能力持续提升，RAX在仿真实验中的平均表现比最好基线模型高出37.4%。