LeRobot v0.6.0 来了:让机器人先想再干

Hugging Face 发布 LeRobot v0.6.0,核心是把'想象-评估-改进'闭环塞进了开源机器人栈,策略评估、世界模型和数据管线全面升级,开源机器人学习开始有工业味道了。
Hugging Face 在 7 月初推出了 LeRobot v0.6.0,代号 Imagine, Evaluate, Improve。这次不是常规版本号跳一位的例行升级——从 v0.4 的数据集重构、v0.5 引入 Pi0-FAST 和 Unitree G1 支持,到这次直接把"策略评估"和"数据闭环"当作一等公民塞进框架里,LeRobot 团队想解决的是开源机器人社区一直绕不过去的老问题:训好的策略到底行不行,怎么知道,怎么改。
这个问题在 LLM 那边早就有一套成熟打法——benchmark、eval harness、RLHF 数据回流。但机器人这块儿一直是玄学。你训了个 ACT 或 Diffusion Policy,跑几次成功几次失败,样本量小得像抛硬币,环境一变全崩。v0.6.0 想做的事情,是把这套评估-回流的工业化流程搬到具身智能上来。

从"能跑"到"能评":策略评估成了核心
v0.6.0 最显眼的变化是新增了一整套 Policy Evaluation 模块。以前你想评估一个策略,基本是两条路:要么在仿真里跑几百次算成功率,要么在真机上手动数——前者 sim2real gap 大到没参考价值,后者慢且贵。
这次 LeRobot 引入了几个关键组件:
- 标准化 eval 协议:为主流策略(ACT、Diffusion Policy、Pi0、Pi0-FAST、SmolVLA)提供统一的评估入口,指标从单一成功率扩展到轨迹相似度、任务完成度、恢复能力等多维度
- 批量并行评估:借助向量化环境,一次跑 N 个 rollout,把置信区间打得更紧
- 失败模式聚类:把失败的 episode 按行为特征自动分组,方便定位是抓取问题、感知问题还是长时程规划问题
这套东西看着朴素,但对社区意义很大。以前你在 Hugging Face Hub 上传一个 policy checkpoint,别人下下来根本不知道好不好用。现在有了统一的 eval report,pretrained 模型第一次有了可比性。
World Model 进场:先想象再执行
"Imagine" 这个词出现在 release title 里不是修辞。v0.6.0 引入了 world model 集成能力,允许策略在部署前先在学到的世界模型里 rollout 一遍,看看会发生什么。
这个思路和 Dreamer 系列、以及 NVIDIA 最近推的 Cosmos 是一脉相承的——在真机执行前先在潜空间里"预演",用预测的未来状态来筛选动作或者做 planning。LeRobot 的做法更工程化一点:
- 提供 world model 训练脚本,直接吃 LeRobotDataset 格式的数据
- 支持把 world model 挂到任意 policy 后面做 rollout 验证
- 提供 imagination-based evaluation 作为真机评估的低成本代理
我的判断是,这个特性短期内还比较偏研究向。世界模型本身的保真度对下游 planning 影响巨大,在操作类任务(尤其涉及接触动力学的)上,学出来的 world model 经常在几步之后就跑飞。但方向是对的——真机试错成本太高,社区必须要有一层廉价的 "想象层" 来做初筛。

数据闭环:从采集到再训练的管线打通
第三块升级是数据闭环 (Data Flywheel)。这个概念开发者应该都不陌生——特斯拉自动驾驶那套 shadow mode + 触发器 + 再标注 + 重训练的流程,在机器人领域一直被眼馋但没人真的开源出来过。
v0.6.0 在这方面推了几个具体功能:
LeRobotDataset v3 格式微调
数据集格式在 v0.4 大改过一次,这次是增量升级:
- Episode-level metadata 增强:每个 episode 除了原始观测和动作,现在可以挂载 eval 结果、失败标签、人工反馈、reward 信号
- 增量式 append:以前更新数据集要重新打包整个 parquet,现在支持流式追加,适合边采边训的场景
- 多机器人异构合并:不同 embodiment 的数据可以在同一 dataset 下用 schema 区分,方便跨形态迁移
交互式数据编辑与筛选
新版的 dataset viewer 支持在浏览器里直接标注、裁剪、重打标签。这个功能听起来朴素,但配合前面的失败模式聚类,形成了一条完整链路:跑 eval → 找失败 episode → 人工看几眼判断原因 → 打标签 → 混入下一轮训练。
DAgger 风格的在线数据收集
新增了 human-in-the-loop 的数据收集模式:策略在真机上跑,操作员看到要出问题了随时接管,接管的轨迹自动标记为 "correction",进入下一轮微调的高权重样本池。这套东西 Diffusion Policy 论文里做过,但作为开箱即用的工具集成到框架里,LeRobot 是头一个。
硬件与 SDK 侧的碎片更新
除了三大主线,v0.6.0 还有一堆碎片但实用的改进:
- teleoperation 延迟优化:主从遥操延迟据说压到了 20ms 以内,SO-100/SO-101 用户应该能感觉到
- Real-Time Chunking (RTC) 稳定化:v0.5 引入的 RTC 之前在长时程任务上偶尔会卡顿,这次做了 async pipeline 重写
- 新硬件支持:Koch Leader v1.1、Piper 双臂、以及若干移动底盘
- Config 系统重构:从 Hydra 迁移到更轻量的 dataclass + CLI 组合,启动脚本清爽了不少
# 新版评估调用示例
lerobot-eval \
--policy.path=lerobot/pi0_aloha_transfer_cube \
--env.type=aloha \
--eval.n_episodes=100 \
--eval.batch_size=10 \
--output_dir=./eval_results
怎么看这次升级
如果说 v0.4 是把 LeRobot 从"能跑 demo"推到"能做研究",v0.5 是接入了主流 VLA 生态(Pi0 家族、类人机器人),那 v0.6 就是在补最后一块最难的短板——工程化闭环。
对比一下同赛道:Nvidia GR00T 是全栈但闭源,Physical Intelligence 的 Pi0 开了权重但没开工程链路,Google 的 RT-X 系列偏数据集不偏工具。LeRobot 现在这个位置有点像早期的 Transformers 库——不追求最强模型,但要把整套开发流程标准化到人人可用。
真正的考验还是在真机部署。评估协议再漂亮,world model 再花哨,最终要看社区跑出来的 pretrained 策略能不能开箱就在你桌上的 SO-100 上叠出一件衣服。这一点 v0.6.0 还没给出足够多的证据,但至少工具已经就位。
对于做具身智能研究或者玩开源机器人的开发者,这个版本值得立刻升上去——特别是 eval 模块和 DAgger 数据收集,即便你不用 world model 那套,光这两个功能也够改善日常工作流了。
参考来源
- LeRobot Release 0.6.0 Roadmap - GitHub Issue #3134:官方 v0.6.0 版本路线图和功能清单
- LeRobot 官方文档 - Hugging Face:LeRobot 框架完整文档,含模型、数据集、教程
- LeRobot v0.5.0 发布解析 - 知乎:前一版本 v0.5.0 的功能梳理,可作对比参考



