AI 快讯小米开源 380 亿参数 U0:机器人有了自己的"世界模拟器"
模型上新

小米开源 380 亿参数 U0:机器人有了自己的"世界模拟器"

2026-07-15T09:07:05.028Z
小米开源 380 亿参数 U0:机器人有了自己的"世界模拟器"

小米今日开源 Xiaomi-Robotics-U0,380 亿参数的多模态自回归世界基础模型,首次在一个架构里打通场景生成、具身迁移、视频生成和图像编辑四类任务,用合成数据把真机策略的 OOD 成功率从 36.9% 拉到 63.2%。

7 月 15 日上午,小米机器人团队把 Xiaomi-Robotics-U0 的权重、代码和 Gradio Demo 一次性丢上了 Hugging Face。参数量 380 亿,架构是自回归,基座融合了 EMU3.5 和 Qwen-3-32B,定位是"世界基础模型"(World Foundation Model)。

这不是又一个 VLA,也不是又一个视频生成模型。它是一个把"想象机器人下一秒看到什么"当成 next-token prediction 来做的东西——图像、视频、文本、机器人观测,全都被塞进同一套离散 token 空间里。用官方的说法,这是具身领域第一个能同时吃下四类任务的统一生成模型。

Xiaomi-Robotics-U0 四类任务能力示意图,包含场景生成、具身迁移、视频生成、图像编辑

一件事讲清楚:U0 到底在解什么问题

做过机器人策略训练的都知道,这行最贵的从来不是算力,是数据。你想让一个机械臂在 1000 种光照、1000 种背景、100 种物体上稳定抓取,理论上就得雇一群操作员,戴着 VR 头盔在真实场景里录 10 万段视频。RT-2、Open X-Embodiment 这些项目烧了多少钱,业内都清楚。

于是过去两年出现了两条路。一条是拿通用视频生成模型(比如 Sora 系、可灵、Veo)去"脑补"机器人操作视频,问题是这些模型没有严格的多视角一致性,也没有物理约束,生成出来的手可能穿模,抓取轨迹可能反物理。另一条是拿小规模机器人数据去微调预训练的世界模型,问题是一微调就把泛化能力干没了,最后只能在训练集分布内工作。

U0 的思路是干脆把两件事合并优化:文生图、图像编辑、具身场景生成、具身迁移、视频生成,五个任务在一个自回归目标下联合训练。既保留互联网视觉知识的泛化性,又能满足机器人本体约束和多视角几何一致性。

这个思路本身不新——DeepMind 的 Genie、World Labs 的方向都类似——但把它做到 38B、做到开源、并且给出真机数据增益证据的,U0 是第一个。

四类任务,怎么统一

拆开看四个能力:

具身场景生成(Scene Generation)。给一段文字描述加一个指定的机器人本体,输出多视角的初始观测。比如你输入"厨房台面上有一个红色马克杯,Franka 机械臂位于左侧",模型会生成前视、俯视、腕部摄像头等多个视角的图片,几何是对齐的。这解决的是"没有真机也能起手训练"的问题。

具身迁移(Embodied Transfer)。已经有一段真机采集的轨迹了,但只在实验室白光环境下录过。U0 可以把这段轨迹"搬"到夕阳光照的仓库、木质桌面、金属背景板等各种环境里,同时严格保留机械臂的位姿和物体的空间关系。这就是所谓的"数据增强不用重新采集"。

机器人交互视频生成(Video Generation)。给一张初始观测图 + 一条自然语言指令(比如"把杯子递给右边的人"),模型往后续 rollout 视频。这里的关键约束是动作连贯 + 物理合理,杯子不能穿透手指,重力方向不能乱。

通用文生图和 Anything2Image。这一路看起来跟机器人无关,但小米团队坚持保留,是为了让模型吃到互联网级别的视觉先验,别退化成只懂机器人不懂世界的"专才"。

具身迁移效果对比图,展示同一轨迹在不同光照和背景下的生成结果

FlashAR+:自回归速度的问题被踩下去了

自回归生成图像最大的痛点是慢。一张 1024×1024 的图,token 数量动辄上万,逐个解码可能要几分钟——这也是过去几年扩散模型能压住 AR 图像生成的关键原因。

小米这次拿出了 FlashAR+ 推理加速方案,核心是引入垂直预测头,实现图像 token 的并行反对角解码。数字很暴力:单张 H20 上,FlashAR vLLM 生成一张图 5.44 秒,比原始 AR eager 快 82.86 倍,比 FlashAR eager 快 3.04 倍。

83 倍的加速,意味着从"能生成"变成"能规模化生成"。做数据合成的场景下,这个差距是决定性的——一天能造 100 万张训练样本还是 1 万张,工程可行性完全不是一个量级。

真机数据说话:OOD 成功率从 36.9% 到 63.2%

生成模型好不好,最终得看下游能不能用。小米团队拿 π₀.₅ 这个操作策略做了对照实验,在未知光照、陌生背景等 Out-of-Distribution 场景下:

  • 只用真机数据训练:成功率 36.9%
  • 加上 U0 合成数据一起训:成功率 63.2%

提升 26.3 个百分点。这是真机测试,不是仿真里刷分。对做机器人策略训练的团队来说,这个数字意味着可以用更少的真机采集撬动更大的泛化范围。

评测榜单方面,U0 在 WorldArena 上取得总分第一(126 个模型参评,匿名代号 UNIS),EWMScore 73.64,指令遵循 93.86,交互质量 87.30。人类成对评估里,具身场景生成任务上击败 GPT-Image-2.0;具身迁移任务上,深度一致性 SI-RMSE 0.1407 对 0.4007,分割 mIoU 0.7621 对 0.4105,全面碾压。

当然客观地说,WorldArena 这个榜单还处在早期,业内共识没完全建立起来。而且性能数据来自厂商单方报告,独立复现和失败模式分析目前都还没看到。等社区跑几天再看更靠谱。

WorldArena 评测榜单截图,UNIS 排名第一

开源了哪些东西

这次开源的完整度值得表扬。Hugging Face 上放了两个 checkpoint:

  • 34B 基础版
  • 38B FlashAR 加速版

配套的推理代码、配置文件、Gradio Demo 入口全部公开。项目主页在 robotics.xiaomi.com,Hugging Face 仓库直接搜 Xiaomi-Robotics-U0 就能找到。

这延续了小米在具身领域的开源节奏。今年 2 月开源过首代 VLA 模型 Xiaomi-Robotics-0(47 亿参数),6 月在 CVPR 2026 和 ICRA 2026 的 WBC 赛道拿了双料冠军,7 月直接把 38B 的世界模型端上来。从时间线看,小米在这条路上是有明确战略节奏的,不是打一枪换一个方向。

和竞品比,U0 站在什么位置

横向对比几个方向:

vs 通用视频生成模型(Sora、可灵、Veo 3):泛化能力可能不如 Sora,但多视角一致性、物理合理性、机器人本体约束这三项,通用模型天生不擅长。U0 的定位是"够用的通用能力 + 专用的具身能力"。

vs 具身专用世界模型(1X 的 World Model、Physical Intelligence 的路线):这些团队多数没开源,或者只开源了小规模版本。U0 直接把 38B 权重和加速方案一起放出,短期内在开源具身世界模型这个细分赛道,找不到第二个能对标的。

vs GPT-Image-2.0:官方给的对比数字是 U0 全面占优,但 GPT-Image-2.0 本来就不是为具身场景做的,这个比较更多是说"通用图像模型直接干具身任务不行",不算特别公平的对比。

真正的价值在"数据永动机"这个定位上——如果 U0 生成的数据能持续给下游策略带来两位数的成功率提升,那具身智能这个行业的成本结构就要重写了。

一点判断

看完这次发布,几个观察:

第一,具身智能领域的路线正在从"堆真机数据"转向"合成数据 + 真机数据混训"。特斯拉 Optimus、Figure、1X 这些团队私下都在做类似的事,小米是第一个把完整方案开源出来的大厂。

第二,自回归 + 统一 token 空间这条路,在文本上被 GPT 证明过,在图像上被 EMU3 部分证明过,现在小米把它推到具身场景。next-token prediction 这个范式的边界还在扩张,短期看不到天花板。

第三,38B 参数在消费级硬件上跑不动,但对企业和研究机构来说,8×H100 就能推理,门槛比想象的低。搭配 FlashAR+ 的 83 倍加速,实际部署成本降到了可以接受的范围。

最后一个提醒:官方数字里 OOD 提升 26 个百分点确实亮眼,但这是在小米自己选的任务和评测集上做的。真正的考验是社区拿去在别的机器人平台、别的操作任务上跑,能不能复现出类似的收益。给一到两个月,答案就会出来。

如果你手边有多模态基座模型的调用需求,OpenAI Hub 一个 Key 覆盖了 GPT、Claude、Gemini、DeepSeek 等主流闭源模型,兼容 OpenAI 格式、国内直连,适合和 U0 这种开源模型做混合调用对比。开源部分可以直接从 Hugging Face 拉权重本地跑,闭源部分走 OpenAI Hub,工程上不用维护两套认证体系。

参考来源

相关推荐

查看全部