2026-10-09 06:25
AI123

15家机构发布500小时视觉-触觉数据集TouchScale,机器人真机任务成功率升至57.5%

10月9日,德州农工大学、Google DeepMind、卡内基梅隆大学、斯坦福大学、微软、英伟达等15家机构联合发布TouchScale,一个在统一传感器与采集流程下构建的500小时人类视觉-触觉数据集。该数据集包含约8.7万条交互录制、1500多个物体,覆盖约2000条任务描述,由约20名采集者在9类采集环境下完成。

与以往简单拼接多个小数据集不同,TouchScale从采集端固定硬件,统一使用穿戴式系统同步记录头部RGB-D、双腕RGB和双手全手触觉信号。每只触觉手套包含880个触觉传感器单元,覆盖五指和手掌,并引入VLM辅助的自动质检流程,以保障大规模触觉数据的质量。

研究团队用TouchScale进行mid-training,不使用人类动作标签,也不将人手轨迹映射到机器人。在xArm6机械臂和BrainCo Revo 2灵巧手上测试软硬物体分拣、瓶盖移除、试管转移和白板擦拭四项接触密集型任务,平均成功率从22.5%提升至57.5%,四项任务均有提升。同时,当训练数据从10%扩展到100%,跨传感器触觉预测的cIoU从0.311提升至0.383,显现出明确的Scaling收益。

该研究展示了触觉数据可像大规模视频一样被规模化采集和学习,为机器人获取可迁移的物理交互经验提供了新的数据路径。

来源
  1. 2026-10-09 06:00 | 新浪财经:把人类双手的「手感」移植给机器人:500 小时真实操作数据,任务成功率翻番
    阅读原文

    (来源:机器之心)拿起一枚生鸡蛋,手指需要施加恰到好处的力:既要防止滑落,又不能捏碎。拧一条湿毛巾,指尖的力道也要随着水分挤出不断调整。对人类而言,这些操作几乎出于本能。但如果只依赖视觉,摄像头拍得下手部轨迹,却捕捉不到手指接触的位置与按压的力度。过去几年,在学术界,第一视角人类视频已经快速扩展到数万小时,越来越多工作也开始看到数据规模增长带来的收益。视觉 — 触觉数据却远没有达到这样的规模:此前公开的人类视触觉数据集大多只有几小时到几十小时。若简单将多个小数据集合并,各家的触觉传感器、采集流程和数据格式又不相同。数据量虽然上去了,硬件和流程也跟着变化,“更多数据” 究竟贡献了多少反而难以单独...

其他新闻

查看全部