苹果用 1000 个模拟家庭训练人形机器人，真实环境单项任务成功率达 91%

苹果研究团队近日在论文中介绍了一套人形机器人自主控制系统 HALO。研究人员在 1000 个程序生成的模拟家庭中制作训练数据，让机器人学习走向指定物体、坐下、穿过半开的门、蹲下或爬过桌底，以及推动箱子等动作。[1]

随后，团队将系统部署到宇树 G1 机器人上，在六个陌生的真实环境中测试。六类单项任务共进行了 360 次试验，平均成功率为 91%。[1]

在模拟家庭中制作训练数据

机器人训练需要把画面、指令和身体动作对应起来。研究人员介绍，通过人工遥操作或穿戴设备采集动作，需要人实际完成每一次示范；HALO 使用模拟环境生成训练片段，为不同任务配上画面、指令和动作轨迹。[1]

团队共生成了约 300 小时训练片段。论文称，生成这些数据使用了 250 块 H100 GPU，耗时 48 小时。[1]

训练数据的制作也用到了已有的人体动作资料。例如，研究人员用手机拍摄人从桌下通过的动作，提取并手动调整关键帧；推箱子任务则结合了人体动作捕捉记录。[1]

从指令到关节动作

测试使用的宇树 G1 增加了一台背负式 Mac mini M4 Pro 和头部摄像头。系统接到语言指令后，先将任务拆成步骤，再根据摄像头画面生成未来五秒的全身动作计划；机器人机载计算机结合深度画面执行动作，并持续调整关节目标。[1]

在六类单项任务中，机器人蹲下通过障碍的成功率为 100%，侧身穿门为 93%，走向指定物体为 92%，爬行、推箱和坐下分别为 90%、88% 和 85%。[1]

研究人员还测试了三个多步骤任务组合，每组在一个真实环境中尝试 10 次，平均成功率为 70%。其中，“穿门后走向目标”的成功率为 100%；“蹲下、走向目标、推箱子”的成功率为 50%。[1]

论文于 11 月 4 日发布。研究团队同时提供了项目页面和演示视频，展示机器人在不同房间中穿门、坐下、爬行和推动箱子等动作。[1][2]

参考文献

[1] HU S, ABUDUWEILI A, MENG Y, et al. Perceptive humanoid motion from simulation[EB/OL]. (2026-11-04)[2026-11-09].

[2] APPLE. HALO: Perceptive humanoid motion from simulation[EB/OL]. [2026-11-09].