大晓机器人联合发布人-场景交互重建框架HSImul3R，穿模率降至22.90%

2026年9月，大晓机器人联合南洋理工大学S-Lab、上海人工智能实验室发布人-场景交互重建框架HSImul3R。该成果已被计算机视觉顶级会议ECCV 2026正式接收。

HSImul3R面向非标定稀疏视角输入，支持单目视频输入，旨在解决三维重建中“感知—仿真鸿沟”问题。传统方法通常以几何准确和视觉对齐为目标，重建结果进入物理仿真后容易出现结构缺失、穿模或交互失效。HSImul3R将重力稳定性、真实接触与交互稳定性纳入评价体系，推动重建从“视觉正确”走向“物理可执行”。

为实现这一目标，HSImul3R提出物理闭环（Physics-in-the-Loop）双向优化框架。一方面，通过面向场景的强化学习优化人体运动，使其在物理可行的同时与当前场景保持稳定交互；另一方面，通过直接仿真奖励优化（DSRO），利用交互后的仿真反馈反向优化三维场景。实验数据显示，该框架将人–场景三维穿模率从69.51%降至22.90%，在HSIBench基准的Easy、Medium、Hard三档任务中，交互稳定率分别达到53.68%、30.56%和13.92%，显著高于对比方法HSfM的10.52%、4.50%和2.66%。

团队还构建了面向人–场景交互的HSIBench基准，包含19个场景物体、超过50段人体动作序列和300个独立交互实例，将人–场景交互稳定性作为核心指标之一。在动作迁移方面，优化后的人体动作已被重定向至Unitree G1人形机器人，并在仿真环境中训练全身控制策略后部署到真实机器人上，实现了从图像/视频到三维重建、物理仿真优化、机器人动作迁移与执行的完整链路。