一份给机器人开发者的视频模型微调手册
做具身智能的团队都遇到过同一个问题：通用视频生成模型拍电影很在行，让它生成一段机械臂抓取积木的画面，物理一塌糊涂。HuggingFace 这两天联合 NVIDIA 放出的一篇博客，正面回应了这件事——他们把 Cosmos Predict 2.5 的 LoRA/DoRA 微调流程拆开揉碎了讲，目标场景就是机器人视频生成。
Cosmos 2.5 是英伟达三月底更新的世界基础模型（World Foundation Model）系列，主打物理一致性，和上一代 Cosmos 1.0 比起来，把文本、图像、视频三种条件输入塞进了同一个统一架构，参数量级覆盖 2B 到 14B。这次 HuggingFace 这篇教程，本质上是给社区一个信号：这个模型不再是只能在 NVIDIA 自家 NeMo 框架里跑的封闭产物，已经能用熟悉的 diffusers + peft 组合完成定制化训练。
为什么是 LoRA 和 DoRA，不是全参微调
先把账算清楚。Cosmos Predict 2.5 的 14B 版本，全参微调一次需要 8 张 H100 起步，显存占用直接顶到 70GB 以上，这还是开了 ZeRO-3 之后的数字。对绝大多数机器人实验室来说，这个门槛有点劝退。
教程给出的方案是分两档：
- LoRA：在注意力层和部分 MLP 层注入低秩矩阵，可训练参数压到原模型的 0.5% 左右，单卡 A100 80G 就能跑 2B 模型的微调
- DoRA（Weight-Decomposed Low-Rank Adaptation）：把权重拆成方向和幅度两部分，方向用 LoRA 更新，幅度独立训练。代价是多 10% 左右的训练时间，换来更接近全参微调的效果
这里有个细节值得说一下。HuggingFace 团队在文中明确给出了一个经验：对于视频扩散模型这种时序建模任务，DoRA 在小数据集（少于 500 条视频）上的表现明显优于 LoRA，差距能拉开 3 到 5 个 FVD 点。但当数据量上到几千条，两者差距收敛到 1 个点以内，这时候 LoRA 的训练速度优势就体现出来了。
换句话说，如果你手上只有一两百条机器人演示视频，闭眼选 DoRA；如果是 RT-X 那种规模的开放数据集，LoRA 就够用。
数据这一关怎么过
视频微调最容易翻车的不是模型，是数据流水线。教程里专门花了一节讲数据预处理，几个点对实战很有参考价值。
分辨率和帧率的取舍。Cosmos Predict 2.5 原生支持 720p 24fps，但如果你的训练数据来自机器人摄像头，原始分辨率可能就是 480p 30fps。教程建议不要硬上采样到 720p，而是把模型的 VAE 编码器配置调整为匹配输入分辨率，否则微调出来的模型在推理时会出现颜色偏移和细节丢失。
视频片段长度。Cosmos 2.5 默认生成 121 帧（约 5 秒），但训练时如果硬塞 121 帧，单卡显存就炸了。教程的做法是训练时切到 49 帧，推理时再扩展到 121 帧，靠模型本身的时序泛化能力补齐——这一点和 Open-Sora 的训练策略思路一致。
字幕标注的坑。机器人视频的文本描述特别容易写得太抽象，比如"机器人抓取物体"。教程里反复强调，微调用的 caption 要写到动作级别："双指夹爪从右侧接近红色立方体，闭合后向左上方移动 30 度"。这种细粒度描述能让模型学到动作和文本的对应关系，而不是简单地把所有机器人视频都映射到同一个语义簇。
关键超参数：教程里藏着的几个坑
这部分是整篇博客最干货的地方，HuggingFace 工程师把他们踩过的雷都列出来了。
LoRA rank 怎么选
常见误区是觉得 rank 越大效果越好。教程给了一组消融实验数据：
- rank=8：训练快，但学不到精细动作，机械臂在抓取瞬间会有抖动
- rank=16：甜点位，大多数机器人任务都够用
- rank=32：边际收益递减，训练时间多 40%，FVD 只提升 0.8
- rank=64：在 200 条数据的小数据集上开始过拟合
建议从 rank=16 起步，遇到复杂场景（比如双臂协作）再提到 32。
学习率
这里有个反直觉的点。视频扩散模型的 LoRA 微调，学习率要比图像模型低一个数量级。教程推荐：
- LoRA：1e-4 到 5e-5
- DoRA：5e-5 到 2e-5
原因是视频模型的时序注意力层对学习率非常敏感，5e-4 这种在 SD 微调里很常见的设置，在 Cosmos 上跑两步就 loss 飞了。
注入哪些层
教程明确建议不要把 LoRA 注入到 VAE 和 text encoder，只在 DiT 主干的 self-attention 和 cross-attention 层注入。如果训练数据里有大量新概念（比如某种特殊形状的工件），可以考虑额外微调 text encoder 的最后两层，但要单独设置一个更小的学习率（1e-6 量级）。
训练流程的工程细节
教程基于 diffusers 0.32 和 peft 0.13 构建训练脚本，核心配置是这样的：
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
r=16,
lora_alpha=16,
target_modules=["to_q", "to_k", "to_v", "to_out.0"],
lora_dropout=0.0,
bias="none",
use_dora=True, # 切换 DoRA
)
model = get_peft_model(transformer, lora_config)
model.print_trainable_parameters()
# trainable params: 47,185,920 || all params: 2,047,185,920 || trainable%: 2.30
几个值得注意的工程实践：
- 梯度累积步数设到 4，配合 batch size=1，等效 batch size=4，对 49 帧视频来说这是单卡能跑的极限
- 混合精度用 bf16，不要用 fp16，Cosmos 的部分 attention 层在 fp16 下会出现数值溢出
- gradient checkpointing 必须开，能省下 30% 显存
- EMA（指数移动平均）建议保留，0.9999 衰减率，最终推理用 EMA 权重
训练时长方面，教程给的参考是：2B 模型，500 条视频，单卡 A100，rank=16 LoRA，跑 3000 步大约 18 小时，能看到明显的领域适配效果。
评估这件事，FVD 不够用
传统视频生成评估靠 FVD（Fréchet Video Distance），但教程指出这个指标在机器人场景里有点失真——机械臂的运动模式相对单一，FVD 容易给出虚高的分数。
HuggingFace 推荐的组合评估方案是：
- FVD 看整体分布相似度
- 物理一致性指标：用一个独立的物理引擎重放生成视频中的动作轨迹，看是否符合刚体约束
- 任务成功率：让生成视频驱动一个 VLA 模型（比如 OpenVLA），看下游任务完成率
这套组合拳比单纯看 FVD 靠谱得多，特别是对于把生成模型用作机器人 World Model 的场景。
一些值得关注的延伸
这篇教程出现的时机其实挺微妙。上个月 Physical Intelligence 刚发布了 π0.5，把 VLA 模型的物理交互能力推到了新高度；这个月初 Figure 又秀了一波 Helix 在仓储场景的部署。整个具身智能赛道，最稀缺的资源就是高质量的机器人交互数据，而视频生成模型作为合成数据来源，价值正在被快速重估。
Cosmos Predict 2.5 + LoRA/DoRA 这套组合的意义在于，它把训练成本从"租八卡集群"降到了"找个 A100 跑两天"，这是数据飞轮能不能转起来的关键门槛。
对于想跟进的开发者，几个建议：
- 如果只是想试试效果，直接用教程里提供的 RoboNet 子集，省去自己处理数据的麻烦
- 想做生产级应用，重点投入 caption 标注的质量和粒度，这比调超参数收益大得多
- DoRA 虽然新，但 PEFT 库支持很完善，没必要因为"还不成熟"就回避
顺便提一句，OpenAI Hub 这边也已经在跟进 Cosmos 系列模型的接入工作，对于不想自己折腾微调、只想快速验证视频生成能力的团队，可以直接用 API 调用基础版本。但这篇教程的核心价值是教会大家怎么把通用模型变成自己领域的专用工具，这件事最终还是要落到本地训练上。
写在最后
这种把工程细节摊开讲的教程，比任何 benchmark 跑分都有价值。HuggingFace 这两年明显在往"开源工具链布道者"的角色上靠，从 Diffusers 到 PEFT 再到 TRL，每次 NVIDIA 或 Meta 出新模型，几乎都能在两周内看到对应的微调指南。这种节奏对整个开源社区是好事。
机器人视频生成在 2026 年大概率会成为合成数据的主流方案之一，而 LoRA/DoRA 这类参数高效微调技术，则是让中小团队能参与这场游戏的入场券。教程里的代码和配置都是开箱即用的，建议感兴趣的开发者花一个周末跑一遍，比读十篇论文管用。
参考来源
- Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation - HuggingFace Blog — HuggingFace 与 NVIDIA 联合发布的 Cosmos 2.5 微调实战教程原文，包含完整代码和数据集链接