蚂蚁灵波开源 LingBot-Video：给机器人造一个懂物理的视频基模

7 月 9 日，蚂蚁灵波科技一口气开源了两个模型：面向实时交互世界生成的 LingBot-World 2.0，以及全球首个面向具身智能的开源视频生成基础模型 LingBot-Video。前者把 Agent 机制塞进了世界模型，能做到小时级实时生成、720p/60fps；但真正让人眼前一亮的是后者——它试图回答一个此前一直悬而未决的问题：给机器人用的视频基模，到底该长什么样？

过去两年，视频生成基本被 Sora、Veo、Kling、Wan、Seedance 这套「数字创作」路线主导，模型比拼的是画面精美、镜头调度、人物一致性。但把这些模型直接拿来给机器人当「世界预演器」用，问题立刻暴露：物理不合理、动作细节糊、任务完成度差、推理还慢。LingBot-Video 的思路很直接——不做电影，做机器人能看得懂的视频。

从 Dense 到 MoE：把视频基模的参数「用活」

LingBot-Video 最核心的架构决策是把主流的 DiT+Dense 换成了 DiT+MoE。总参数 30B，但单次生成实际只激活约 3B——按官方数据，推理效率大约是同规模 Dense 模型的 3 倍。

这个选择其实很有意思。视频生成领域此前对 MoE 一直比较谨慎，主要顾虑是时序一致性和专家路由的稳定性——图像/视频的 token 数量比语言模型高一到两个数量级，MoE 的负载均衡问题会被放大。Wan、Seedance、Cosmos 这几家目前仍然是 Dense 为主。灵波敢在具身场景上先动手，一个现实原因是：机器人应用对推理延迟极其敏感。VLA 训练里，视频基模常常要在 rollout 环节反复被调用，Dense 30B 的推理成本几乎是不可接受的。MoE 稀疏激活相当于把「模型容量」和「推理开销」解耦，这个 trade-off 对具身场景刚好合适。

从公开评测看，LingBot-Video 在北大联合字节发布的具身视频评测基准 RBench 上总分 0.620，超过了 Wan2.6、Seedance 1.5 Pro 和 Cosmos3 Super。要注意 RBench 是专门衡量视频模型在具身相关维度（物理合理性、动作可执行性、任务语义等）上的表现，跟一般追求美学质量的评测不是一回事。灵波自己内部的 benchmark 对比了 Cosmos3、Wan 2.2 在内的五款开源模型，声称在具身领域「系统性领先」。

7 万小时具身数据：真正的护城河

如果说 MoE 是架构上的差异化，数据画像引擎才是这套体系真正难被复制的部分。

LingBot-Video 在互联网视频的基础上，额外引入了三类具身相关数据：

• VLA（Vision-Language-Action）数据：机器人实际执行任务的多模态记录，包含动作标签
• VLN（Vision-Language-Navigation）数据：机器人在真实环境中移动、导航的轨迹
• Ego 第一视角数据：包括人类第一视角操作视频，用来补齐灵巧操作场景

具身数据总规模达到 7 万小时。作为对比，早期 RT-2 用的 Open X-Embodiment 数据集大约折算下来是几千小时量级，而互联网通用视频虽然量大，但对「一只手怎么抓杯子把手」「机器人足端怎么在草地上打滑」这类问题几乎没有标注价值。

更关键的是数据画像引擎做了分层配比：不是简单把具身数据混进通用视频里训练，而是围绕机器人的核心需求（物理交互、动作因果、第一视角空间关系）重新设计了预训练课程。这也是为什么它在 RBench 上分数能拉开——通用视频模型学到的是「视频应该看起来像什么」，LingBot-Video 学的是「视频里发生的事情应该符合什么规律」。

具身视频基模到底解决什么问题

对不熟悉这个方向的开发者，稍微展开一下背景。视频生成模型进入具身智能，主要有三个用途：

1. World Model（世界模型）：给定当前状态和一个动作序列，预测未来若干帧。用来做规划、做 model-based RL、或者做安全性预演。
2. 数据生成器：机器人真实数据极度稀缺且昂贵，用视频基模合成 rollout 数据来训 VLA 是目前很多团队在做的事。
3. Reward / Verifier：判断一段执行视频是否完成了目标任务，视频模型的语义理解能力可以作为通用奖励信号。

这三件事对模型的要求都是「物理和动作要对」，画面精美反而次要。这也是为什么 NVIDIA 的 Cosmos 系列一开始就选了不同的技术路线——把物理仿真的先验塞进训练里。LingBot-Video 走的路线更偏「数据驱动」：不靠显式的物理引擎，而是通过海量具身数据让模型自己学到物理一致性。

从 RBench 的分数看，这条路目前是走通了。当然，0.620 这个分数距离「机器人能直接依赖它做规划」还有距离，但作为开源底座，它给下游研究团队省下的工作量是实打实的——过去要自己收集几万小时机器人数据，现在可以直接在这个基模上做后训练。

和 LingBot-World 2.0 是什么关系

同一天开源的两个模型，有必要理一下分工。

• LingBot-World 2.0 面向的是实时交互世界生成：用户/Agent 给一个动作或指令，模型实时演化环境。它更像是一个「可玩的仿真器」，强调 60fps 实时性和长时序（小时级）稳定性。首次把 Agent 机制引入世界模型，意味着世界不再是被动响应，而是可以由内部 Agent 驱动持续演化。
• LingBot-Video 面向的是离线的视频基模能力：给一段前缀视频或动作序列，生成高质量、物理合理的连续视频，作为下游具身任务的表征底座。

简单说，前者是「实时引擎」，后者是「预训练底模」。两个东西可以组合——LingBot-Video 提供表征和物理常识，LingBot-World 2.0 提供交互和实时性——这基本对应了 Yann LeCun 提的 JEPA 世界模型和 Genie 这类交互式世界模型两条路线在灵波内部的合流。

一些还没答案的问题

模型开源了，但有几个点值得后续观察：

• MoE 在视频生成上的长程一致性到底怎么样。3 倍推理加速的代价是不是稳定性变差？在长于 30 秒的生成中会不会出现专家漂移导致的画面跳变？这需要社区跑更多长视频测试。
• 7 万小时具身数据的构成和分布。VLA/VLN/Ego 三类数据的配比、来源、清洗策略如果能公开更多细节，对整个具身社区都是巨大的贡献。目前技术报告里透露的还不够。
• 和 Cosmos 系列的对比。NVIDIA Cosmos 走的是「物理引擎 + 生成模型」的混合路线，LingBot-Video 走的是纯数据驱动。在中长期，哪条路更 scalable 是一个真正的开放问题。
• 下游 VLA 训练的实证效果。基模再好，最终还是要看拿它训出来的机器人策略能不能提升成功率。这个数据估计要等第一批社区用户跑出来才能验证。

写在最后

过去一年，国内在视频生成上跑得最猛的是 Kling、Wan、Seedance 这几家，主战场是内容创作。蚂蚁灵波这次直接切到具身赛道，避开了红海，也确实占住了一个此前没有开源基模的生态位。「全球首个」这个标签有时候是营销话术，但这次配合 MoE 架构和 7 万小时具身数据，含金量算是站得住的。

对做机器人和 VLA 的开发者来说，可以关注权重放出后的实际效果——特别是拿它替换 Cosmos 或 Wan 做世界模型 rollout 时，训练效率和策略成功率的差异。这是最终检验一个具身视频基模价值的地方。

参考来源

• 人人都是产品经理 Twitter 快讯 - LingBot-Video 发布信息汇总（需科学访问）