英伟达把 GR00T 1.7 塞进 LeRobot,机器人圈开始讲开源
英伟达今天宣布将 Isaac GR00T 1.7 和 Teleop 远程操作框架接入 Hugging Face 的 LeRobot,Cosmos 3 也在路上。这是一次把机器人基础模型、数据格式、遥操作工具链统一到同一套开源标准里的动作。
英伟达把 GR00T 1.7 塞进 LeRobot,机器人开发者第一次有了 "标准接口"
7 月 7 日,英伟达在博客里官宣了一件对机器人开发者来说不算小的事:把 Isaac GR00T 1.7 基础模型和 Isaac Teleop 远程操作框架,直接接入 Hugging Face 的 LeRobot 开源库,同时预告 Cosmos 3 世界模型后续也会进来。
这事儿的信号比新闻稿写得要浓。过去两年,机器人这个赛道最尴尬的地方在于:大家都知道要走基础模型+仿真+真机数据这条路,但每家的数据格式、训练框架、遥操作硬件全都各干各的。你在波士顿动力那儿采的数据,拿到 Unitree 上根本用不了;用 Isaac Sim 跑出来的策略,迁到 MuJoCo 又要重写一遍。LLM 世界早就靠 HuggingFace 那套 transformers + datasets 完成了标准化,机器人一直没有这个东西。
LeRobot 就是奔着填这个坑去的。而英伟达这次把自家的看家资产押上去,等于承认了一件事——机器人的 "Hugging Face 时刻" 应该发生在 LeRobot 上,而不是自己再造一个生态。
GR00T 1.7 到底是个什么模型
先说清楚 GR00T 1.7 的技术底子。这是一个开放的 VLA(视觉-语言-动作)模型,中号版本 3B 参数,架构上是 VLM backbone + 一个基于 flow matching 的 action transformer,输出连续动作 chunk。相比 1.6,最大的变化是换了新的 VLM 骨干——Cosmos-Reason2-2B(也就是 Qwen3-VL 那一支),代码层面也做了一轮清理。
有几个细节值得说:
- 多本体支持:同一个模型里可以塞下最多 32 种不同的机器人本体,每种本体有独立的编解码器权重,但共享 DiT 核心和 VLM backbone。这个设计对做 humanoid 的团队特别关键,意味着你不用为每一款新手臂重训整个模型。
- 训练数据混合了 bimanual、semi-humanoid 和大规模 humanoid 数据集,包括 BridgeData V2 的 60,096 条轨迹、DROID、LIBERO、Fractal 等等,全部转成了 LeRobot 格式发布。
- 目前是 Early Access 状态,稳定性和支持保证都有限,官方明确说 GA 前不要压生产。
把这个模型丢进 LeRobot 意味着什么?意味着开发者第一次可以用一套统一的 LeRobotDataset 格式加载英伟达的官方数据、用同一套 policy 接口 fine-tune GR00T、然后再用同一套 evaluation pipeline 对比自己的 baseline。以前这套流程要在 Isaac Lab、自研训练脚本、真机部署代码之间来回切,现在理论上一条 pipeline 就能走完。
Teleop:真正被低估的那一块
新闻里最容易被读者忽略的其实是 Isaac Teleop。英伟达把它称作 "首个开放且可商用的机器人基础模型"(这个描述有点绕,Teleop 严格说是遥操作框架,不是模型本身,但它承载了数据采集这个环节最脏最累的活)。
为什么关键?机器人这行的一个公开的秘密是:基础模型再强,最后能不能落地,取决于你能不能拿到高质量的人类示范数据。而采集示范数据这件事,一直是每家一套 SDK、一套硬件、一套记录格式。学术界的 ALOHA、工业界的各种夹爪遥操作、VR 头显方案,出来的数据往往互不兼容。
Isaac Teleop 的做法是:让开发者通过外部设备(VR、手柄、动捕都行)采集示范,然后直接以 LeRobot 兼容的格式落盘。这意味着你今天用 Quest 3 遥操作采的一批 pick-and-place 数据,明天可以直接用来 post-train GR00T,也可以上传到 Hugging Face 供社区复用。数据采集这一环终于有了标准输出接口。
对小团队来说,这可能比 GR00T 本身更有价值。基础模型你可以用别人的,但示范数据必须自己采——现在采集的边际成本被显著拉低了。
Cosmos 3 在后面等着
博客里还预告了 Cosmos 3 会在后续接入。Cosmos 是英伟达的物理 AI 世界基础模型,简单说就是一个能生成物理上合理的视频/交互序列的模型,专门用来在真实数据不够或者采集太贵的时候,做合成数据增强和策略预训练。
这块拼图补上之后,LeRobot 上的完整工作流就成型了:
- Teleop 采真实示范
- Cosmos 3 做数据增强和场景生成
- GR00T 做 policy 训练
- LeRobot 统一格式和评测
听起来像是英伟达在下一盘更大的棋——把机器人开发的整条 pipeline 都锚定在自己的模型和硬件上,但用 Hugging Face 这个中立的开源平台做分发。这个策略比自己搭一个 NVIDIA Robotics Hub 聪明得多,300 万机器人开发者对接 1600 万 AI 开发者,用户增长的账算得很清楚。
一组值得关注的数字
博客里透露的开源物理 AI 数据集规模,比想象中大:
- 累计下载量 超过 1500 万次
- 35 万+ 条真实与模拟轨迹
- 5700 万次抓取数据
英伟达自己声称这是目前规模最大的开源物理 AI 数据集。这个数据在机器人语料稀缺的当下相当扎眼——对比一下,LLM 领域动辄几 T token 的语料让人麻木了,但机器人这边,能拿到几十万条高质量轨迹已经是奢侈品。
我的判断:这是一次生态位卡位
把这次合作放到更大的图里看,几个观察:
第一,英伟达其实没得选。 机器人基础模型这个赛道,Physical Intelligence 的 π0、Google 的 RT 系列、以及一堆 startup 都在推自己的 VLA。如果 GR00T 只在 Isaac Lab 里跑,社区渗透率会被死死压制。丢到 LeRobot 上,等于借 Hugging Face 的分发力做覆盖。
第二,LeRobot 有可能成为机器人的 "事实标准数据格式"。 就像 Parquet 之于数据、ONNX 之于模型,机器人一直缺一个中立的中间格式。LeRobotDataset 现在有了英伟达官方数据的加持,护城河会越来越宽。想做机器人训练框架的团队,现在最省事的选择就是原生支持这个格式。
第三,遥操作硬件厂商要开始紧张了。 Teleop 框架标准化之后,硬件层的差异化空间被压缩,最后拼的是采集效率和成本。这对 Meta(Quest)、苹果(Vision Pro)这些通用 XR 设备是利好,对专用遥操作硬件厂商未必。
第四,这仍然是 Early Access。 别被新闻稿冲昏头,GR00T 1.7 目前的稳定性、bug 数、文档完备度都还在早期。真要上生产,等 GA 版本,或者做好自己填坑的心理准备。GitHub 上的仓库已经在快速迭代,issue 区值得每周刷一遍。
开发者现在可以做什么
如果你手上有机器人项目,几个立刻能上手的事:
- 去
huggingface.co/nvidia/GR00T-N1.7-3B拉模型权重,跑通 SimplerEnv 上的 baseline - 把自己现有的示范数据转成 LeRobotDataset 格式,方便后续接入任何基于 LeRobot 的训练流程
- 关注 GitHub
Nvidia/Isaac-GR00T仓库的 release,Cosmos 3 的接入时间表大概率会先在这里透露 - 如果做 humanoid,尤其值得评估 GR00T 的多本体权重共享设计能不能直接套到你的机型上
对不想碰这么底层的开发者,一个更简单的观察窗口是:接下来几个月,会有多少 humanoid startup 在发布会上把自己的 policy 跑在 GR00T + LeRobot 栈上。这个数字会直接告诉你,生态是不是真的立起来了。
顺带一提,对上层做 AI 应用的开发者,如果需要在同一个项目里同时调用 LLM 做任务规划、再调用机器人模型做执行,OpenAI Hub 目前已经把 GPT、Claude、Gemini、DeepSeek 等主流大模型聚合到一个 Key 里,兼容 OpenAI 格式、国内直连,规划层的多模型调用可以少一层负担——执行层这边就交给 GR00T 和 LeRobot。
机器人的 Hugging Face 时刻,或许就是从今天开始的。
参考来源
- IT之家:英伟达携手 Hugging Face 扩展机器人开发资源 — 中文首发报道,覆盖合作细节和数据集规模
- Hugging Face: nvidia/GR00T-N1.7-3B 模型卡 — GR00T 1.7 官方模型页,含权重下载和多数据集 post-trained 版本
- GitHub: Nvidia/Isaac-GR00T 官方仓库 — GR00T 1.7 Early Access 代码库,含架构说明和使用示例
- 知乎:NVIDIA Isaac GR00T N1.7 技术深度解读 — 中文技术解析,重点讲多本体架构和 AlternateVLDiT 设计


