苹果把人形机器人控制系统 HALO 放出来了

苹果研究团队在 11 月 4 日提交的论文《Perceptive Humanoid Motion from Simulation》中，首次系统披露了人形机器人自主控制系统 HALO，并公开数据生成、模型训练与真机部署代码。与只展示视频或发布一套实验模型不同，HALO 覆盖了从仿真环境构造、动作生成、任务编排，到机器人关节控制和真实设备运行的完整链路。

HALO 是一套让人形机器人从视觉理解任务、生成全身动作，并在真实环境中完成执行的分层控制系统。它目前部署在宇树 G1 人形机器人上，能够完成推箱子、坐沙发、跟随人员、侧身通过半开的门，以及俯身或爬行穿过桌底等任务。

这次发布的意义不在于苹果突然做了一台机器人，而在于它把机器人控制问题拆成了三个可迭代的模块：上层负责理解和安排任务，中层负责规划未来几秒的身体动作，底层负责以高频率把动作变成关节控制。对于人形机器人而言，这种架构比端到端模型直接输出电机指令更容易训练、调试和迁移。

先看成绩：单项任务 91%，长序列任务 70%

HALO 在 6 个没有提前扫描、也没有建立地图的真实环境中进行了 360 次单项任务测试，平均成功率为 91%。这说明系统并不是只在一间被精心布置过的实验室里运行，而是具备一定的陌生场景泛化能力。

不过，91% 主要对应的是拆分后的单项任务。涉及多个动作连续衔接的长序列任务，成功率明显下降。研究团队在同一真实场景中，针对 3 种组合任务分别测试 10 次，平均成功率为 70%。其中最复杂的「俯身通过障碍—走向目标—推箱子」任务只成功了 5 次，成功率为 50%。

这组数据很关键。它说明 HALO 已经能够解决「看懂环境并完成一个动作」，但距离稳定完成多步骤任务仍有明显差距。人类觉得自然的动作链——先判断空间高度、再调整姿态、穿过障碍、重新定位目标，最后完成推物——对机器人来说，每一步都会累积视觉误差、定位误差和控制误差。

| 测试项目 | 测试规模 | 结果 | |---|---:|---:| | 未建图真实环境中的单项任务 | 6 个环境、360 次 | 平均成功率 91% | | 真实环境中的 3 类长序列任务 | 每类 10 次 | 平均成功率 70% | | 俯身通过障碍—走向目标—推箱子 | 10 次 | 成功 5 次，成功率 50% |

三层控制架构：模型负责想，策略负责动

HALO 的任务编排器是基于视觉语言模型的上层模块。任务编排器是把自然语言指令和摄像头看到的环境转换为可执行子任务的系统，例如把「把箱子推到墙边」拆解为接近箱子、调整站姿、接触箱体、持续施力和确认目标位置等步骤。

根据论文披露，HALO 默认采用千问 Qwen3.6-35B-A3B 作为任务编排模型。该模型运行在机器人背部搭载的 Mac mini 上，也可以切换到云端模型，以获得更强的推理和规划能力。研究团队强调，系统可以在不联网的情况下完成本地运行，这对机器人部署尤其重要：现场网络不稳定时，任务编排不能因为一次请求超时而让机器人停在原地。

中间层是动作生成器。动作生成器是根据当前视觉输入、子任务和机器人状态，预测未来一段时间全身运动轨迹的模块。HALO 使用 Qwen3.5-2B 作为参数冻结的编码器，并配合一个扩散 Transformer，也就是 DiT 解码器，生成约 5 秒的动作计划。

这层并不是一次规划到底，而是每秒大约重新规划 3 次。机器人走向目标时，如果目标位置变化、路径被遮挡，或者原本计划的姿态无法通过狭窄空间，动作生成器可以不断刷新后续轨迹。这种设计类似自动驾驶中的滚动规划：不是提前决定整段路怎么走，而是边走边根据新画面修正几秒后的动作。

最底层是动作跟踪器。动作跟踪器是将高层动作轨迹转换成关节控制指令的强化学习策略网络，运行频率达到每秒 50 次。它同时读取深度图像和机器人自身状态，把动作生成器给出的目标姿态转化为腿部、腰部、手臂等关节的实际运动。

三层模块的职责并不重叠：

• 任务编排器：理解指令和场景，决定下一步做什么。
• 动作生成器：规划机器人未来约 5 秒如何移动身体。
• 动作跟踪器：以 50Hz 频率执行动作，处理实时平衡和关节控制。

这种分层结构的好处是，推理速度和控制频率可以分别优化。视觉语言模型不需要每 20 毫秒输出一次电机指令，强化学习策略也不需要承担复杂的语言推理。对真实机器人来说，这是比单一大模型包打天下更现实的工程方案。

Mac mini 放在背上，负责跑大模型

HALO 的真机部署采用宇树 G1，并在机器人背部加装了专用 3D 打印保护外壳。外壳内部放置一台搭载 M4 Pro 芯片、配备 64GB 统一内存的 Mac mini。

Mac mini 主要承担计算开销更大的任务编排器和动作生成器。G1 自带的板载芯片则专注于高频运行动作跟踪器。换句话说，机器人背上的 Mac mini 更像是负责思考和规划的外置大脑，G1 原有控制系统负责快速反射。

这一硬件组合很有现实感。它没有把所有计算任务都塞进机器人的原生控制板，也没有依赖一台远程服务器，而是通过额外增加一台消费级小型计算机，快速验证较大模型在机载场景中的可行性。64GB 统一内存对本地运行 Qwen3.6-35B-A3B 和 Qwen3.5-2B 这类模型提供了空间，但这并不意味着 HALO 已经具备产品化机器人的体积、重量和功耗水平。

从工程角度看，Mac mini 的加入解决了算力问题，也引入了新的约束：额外重量会影响机器人平衡，机载散热和供电需要长期稳定，设备固定和线缆保护也会影响跌倒安全。苹果这次展示的是研究系统，而不是面向消费者的完整机器人产品，二者不能混为一谈。

仿真数据生成：先生成动作，再把机器人放进房间

HALO 的训练核心是大规模仿真数据生成。团队在约 1000 个程序生成的模拟家庭环境中，合成了约 300 小时的主要训练数据，把机器人看到的画面、接收到的任务和实际执行动作配对起来。

数据生成流程可以概括为四步：

1. 根据文字提示、路径点和关键姿态生成动作轨迹。
2. 将动作放入程序生成的房间，并检查机器人与家具之间是否发生碰撞。
3. 从机器人的第一视角渲染执行动作时看到的画面。
4. 改变光照、色调、模糊程度和场景布局，形成更丰富的训练样本。

例如，机器人要坐到扶手椅上，系统会先将任务拆成向前走、转身、靠近椅子和坐下等动作片段，再通过几何检查过滤掉脚部滑动、身体穿入地面或机器人与家具碰撞的轨迹。之后，系统把这些动作放进不同虚拟房间，生成机器人真实可能看到的视觉输入。

这种方法解决的是机器人数据采集的成本问题。让一台实体人形机器人在数千个房间里反复摔倒、起身、撞击家具，成本高且风险大；在仿真里生成大量房间和动作，再把策略迁移到真实设备，则可以显著扩大训练覆盖范围。

但 HALO 的仿真并不是完全自动化的。研究团队明确指出，新增物理任务仍然需要人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动作捕捉素材。也就是说，系统已经把人工示范和程序化生成结合起来，但距离「输入任意任务，自动生成可靠训练数据」还有距离。

训练成本不低，开源降低了复现实验门槛

HALO 的计算资源投入也被披露出来。主要训练数据使用 250 张英伟达 H100 GPU，耗时约 48 小时；动作生成器通过模仿学习训练，使用 64 张 B200；动作跟踪器则经过强化学习和策略蒸馏等步骤训练，使用 4 张 H100。

| 训练环节 | 方法 | 硬件资源 | 主要作用 | |---|---|---:|---| | 仿真数据生成 | 程序化场景与动作合成 | 250 张 H100，约 48 小时 | 生成约 300 小时主要训练数据 | | 动作生成器 | 模仿学习 | 64 张 B200 | 生成约 5 秒全身动作计划 | | 动作跟踪器 | 强化学习、策略蒸馏 | 4 张 H100 | 以 50Hz 跟踪并执行动作 |

这里最值得关注的是，苹果不只是发布论文和演示视频，还公开了数据生成、模型训练、部署，以及仿真和真实机器人运行相关代码。对于机器人研究者而言，代码比一组成功率数字更有价值，因为它允许开发者检查数据如何生成、动作如何筛选，以及仿真策略如何接入真实 G1。

当然，代码公开不等于普通开发者可以低成本复现全部结果。HALO 依赖人形机器人本体、深度视觉传感器、机载计算设备和高规格 GPU 集群。仅数据生成和训练阶段就使用了数百张数据中心 GPU，个人实验室很难完整复制同样的规模。

但它仍然降低了研究入口。研究者可以先复用动作生成、仿真场景和跟踪器训练中的某一部分，再替换模型或机器人平台。相比只发布一段视频，完整代码让行业更容易比较不同模型、仿真器和控制策略的实际差异。

HALO 的短板：看得见，不代表感受得到

HALO 当前最大的限制是对视觉的依赖。系统能够通过摄像头和深度信息判断环境，却不能直接感知接触力、摩擦变化和物体是否真正被推动。

当物体离开相机视野、被机器人身体遮挡，或者任务需要持续接触时，性能会明显下降。例如推箱子时，视觉系统可能看到箱子的位置，却无法准确知道箱子是否卡住、机器人手部是否打滑、脚底是否因为受力变化而失去平衡。机器人如果只根据画面继续执行，很可能出现动作轨迹正确但实际接触失败的情况。

这也是长序列任务成功率从单项 91% 降到组合任务平均 70%的重要原因之一。动作越长，遮挡、定位偏差和接触不确定性越容易叠加。后续加入触觉传感器、关节力矩反馈和更强的本体状态估计，可能比单纯扩大视觉语言模型规模更有效。

苹果团队已经把触觉感知列为后续改进方向。对于人形机器人，真正决定其能否进入家庭和工业环境的，不只是能不能看到桌子和箱子，而是能不能判断「我是否已经碰到它」「我施加的力是否足够」「接触之后是否需要立即收力」。这类信息是纯视觉难以稳定提供的。

苹果这次发布，重点不是模型参数，而是完整闭环

HALO 的模型规模并不意味着它已经在机器人领域建立了绝对领先地位。Qwen3.6-35B-A3B 和 Qwen3.5-2B 承担的角色分别是任务编排和动作生成，真正决定机器人是否安全稳定运行的，仍然是数据管线、仿真质量、动作筛选、强化学习和部署工程。

它的价值更像是一套可拆解的参考实现：上层视觉语言模型可以替换，中层动作生成器可以重新训练，底层跟踪器也可以根据不同机器人形态调整。对于研究者来说，这种模块化比一个无法解释、无法替换的端到端黑盒更适合做实验。

但需要保持冷静的是，HALO 目前仍然是研究系统。单项任务 91%的平均成功率，不能直接等同于家庭环境中的可靠工作能力；长序列任务 50%的最低成功率，也说明机器人在复杂空间和连续接触任务上仍远未达到实用水平。它可以展示「机器人开始理解身体如何穿过环境」，但还不能证明人形机器人已经解决了通用操作问题。

截至 2026 年 11 月 7 日，HALO 更像苹果在机器人基础设施上的一次公开亮相：用视觉语言模型负责任务理解，用扩散模型生成全身动作，再用高频强化学习策略完成执行，并通过仿真数据把训练规模扩展到现实采集难以覆盖的范围。

这条路线是否会成为人形机器人控制的主流，还要看两个问题：第一，仿真数据能否覆盖真实世界中复杂、连续和不可预测的接触；第二，机器人能否在不依赖背部外挂计算机和大规模 GPU 集群的情况下，把这套系统压缩到可量产硬件上。HALO 已经把答案的一部分公开了，但离真正可用的机器人，还差一段不短的工程路程。

参考来源

• IT之家：苹果披露人形机器人 HALO 系统，6 个未建图环境测试 360 次单项任务，平均成功率 91% —— 汇总 HALO 论文内容、三层控制架构、训练资源和真机测试结果。
• 苹果研究团队论文《Perceptive Humanoid Motion from Simulation》—— HALO 系统的原始技术资料，包含仿真数据生成、动作生成器和真机评估方法。
• HALO 项目公开代码与项目资料——覆盖数据生成、模型训练、动作跟踪、任务编排，以及仿真和真实机器人部署流程。