Praxis-1开源：视频模型开始干活

11月11日，Runway正式开放机器人模型Praxis-1的权重、推理代码和微调工具，并采用Apache 2.0许可证发布。与其说这是Runway突然跨界机器人，不如说它终于兑现了9月底的承诺：把训练视频生成模型积累下来的“物理常识”，交给真实机械臂使用。

Praxis-1是一个同时预测未来视频与机器人动作的世界动作模型（World Action Model，WAM）。 它接收自然语言指令、摄像头画面和机器人当前姿态，一边想象接下来1.6秒的场景会如何变化，一边输出实现这个未来所需的24步动作。

这条路线值得重视，因为Runway并没有把机器人控制理解成单纯的视觉问答。Praxis-1不只是看见杯子后输出“抓取杯子”，而是先在内部预测杯子、夹爪和周围环境接下来应该处于什么状态，再把这个预测翻译成机械臂轨迹。

这次不是首次发布，而是真正把权重交出来

Praxis-1在2026年9月底已经公开亮相，但当时仍处于合作伙伴测试阶段，Runway只承诺会在未来几个月开放模型。11月11日的更新才是关键节点：开发者现在可以从Hugging Face模型仓库下载权重，并通过GitHub代码仓库运行推理、仿真评估、完整微调或LoRA微调。(runway.com)

开放权重意味着开发者可以在自己的GPU和机器人硬件上部署、检查并调整模型，而不必把摄像头数据持续发送到外部服务。 对机器人项目而言，这不仅关系到成本，也关系到工厂数据、生产流程和真实环境视频能否留在本地。

Runway提供了三个主要方向的检查点：没有特定机器人动作头的基础模型、面向单臂DROID设备的版本，以及面向双臂YAM机器人的版本。基础模型已经在18种机器人或人体动作形态的数据上进行中期训练，但不能下载后直接操控任意机械臂；开发者仍需为自己的关节、夹爪、摄像头和动作空间添加适配层并微调。

这里也需要把“开源”说得准确一些。Praxis-1代码仓库和官方权重采用Apache 2.0许可证，可用于商业项目，但模型依赖的Wan2.2 VAE与Qwen3.5-2B文本编码器分别遵循各自许可证，因此它不是一个所有组件都由Runway重新授权的完全独立软件包。(huggingface.co)

核心思路：让机器人先学会预测世界

世界动作模型是把世界模型的未来预测能力与机器人策略模型的动作输出能力结合起来的模型。 传统视觉—语言—动作模型通常把图像、指令直接映射为动作；Praxis-1则多走一步，要求模型同时生成“未来会看到什么”和“机器人应该怎么动”。

这种设计与Runway的视频生成背景高度一致。视频模型在训练中必须学习杯子为什么会倒下、手伸向物体时遮挡如何变化、抽屉被拉开后内部空间如何出现，以及一个任务在不同阶段应该呈现什么画面。这些知识未必包含精确的关节扭矩，却构成了机器人理解动作结果的基础。

Praxis-1的总参数量为272亿，其中视频骨干网络约269亿参数，动作专家约3亿参数。它采用混合专家架构，共有20个前馈层，其中17层为MoE层；每个MoE层包含1个共享专家和128个路由专家，每个Token只激活8个路由专家，因此单次计算实际激活的骨干参数约28亿，而不是把269亿参数全部跑一遍。

模型的具体结构也颇有“拼装旗舰”的意味：视频潜空间来自冻结的Wan2.2 VAE，文本指令由冻结的Qwen3.5-2B编码，动作专家再读取视频模型内部特征。这样做的好处是保留大规模视频预训练能力，同时避免为了适配每一种机械臂而重新训练完整骨干网络。

| Praxis-1关键参数 | 数值或设计 | |---|---| | 总参数量 | 27.2B | | 视频骨干参数 | 26.9B | | 单Token活跃骨干参数 | 约2.8B | | 动作输出频率 | 15Hz | | 单次动作块 | 24步、1.6秒 | | DROID动作空间 | 10维：位置3维、旋转6维、夹爪1维 | | BF16权重体积 | 54.4GB | | NVFP4策略内存 | 约17.5GB | | 开源许可证 | Apache 2.0 |

动作分块是Praxis-1能够接近实时控制的重要原因。 模型不是每移动一点就重新推理，而是一次输出1.6秒的动作序列，让机器人执行后再将实际看到的画面送回模型，形成闭环。

默认模式下，Praxis-1在单张H100上生成一个动作块约需0.55至0.6秒，相当于用不到0.6秒的计算换取1.6秒运动。实验性的实时分块与流式优化可把双臂YAM机器人的单次服务延迟从545毫秒降至128毫秒，把DROID单臂版本从522毫秒降至124毫秒。

这不是单纯追求跑分的优化。机器人如果每次推理都停下来等待，动作会呈现明显的“走一步、想一下”；Runway的实时分块方案允许机器人在当前动作尚未执行完时提前请求下一段动作，使双臂实验中的静止等待时间从32%降至5%，或在更快服务器上从16%降至3%。(runway.com)

真正重要的突破，是训练数据不再只来自机器人

机器人数据稀缺问题是指真实机器人的高质量动作记录数量远少于互联网文本、图片和视频，难以支撑通用基础模型训练。 采集遥操作数据需要机器人本体、场地、操作人员、传感器标定和故障维护，规模扩大后成本几乎线性增长。

普通视频则是另一种数量级。互联网上有大量人类拿取物品、开关抽屉、整理桌面和使用工具的视频，其中没有机械臂关节角度，却包含物体运动规律、手部轨迹和任务推进过程。

Runway此前进行的93组物体放置评估显示，使用互联网普通视频预训练后，模型的平均位置误差为16.1厘米；改用专门采集的机器人遥操作视频预训练后，误差为16.0厘米。0.1厘米的差距不足以说明普通视频已经能替代机器人数据，却证明普通视频可以提供非常接近的预训练起点。

这个结果的意义不是“以后不用采机器人数据”，而是把机器人数据从基础知识教材变成最后一公里适配数据。模型可以先从海量视频学习世界如何运动，再用规模小得多的真机数据学习某台机械臂的关节限制、摄像头位置和控制接口。

Praxis-1在从未出现在中期训练数据中的Google RT-1机器人上也展示了这种迁移能力。经过约7.8万段、95小时RT-1数据微调后，模型在SimplerEnv四项任务、864个回合中的平均成功率达到80.0%，高于原始RT-1策略的52.4%，也高于使用同一批数据微调后达到39.7%的FLUX 3 Action。

但视频无法提供全部物理信息。摩擦力、夹持压力、物体重量、柔性材料形变和接触瞬间的力反馈很难仅凭第三人称视频准确恢复，因此Praxis-1更像是在解决“机器人该往哪里动”，而不是彻底解决“应该用多大力”。对于插拔接口、拧紧螺丝或处理易碎物品等任务，力觉与触觉数据仍然不可替代。

46.2%成功率，领先但离通用机器人很远

RoboLab-120是一个包含120项桌面操作任务的机器人策略仿真基准，每项任务执行10次，共计1200个评估回合。 Praxis-1在该基准中完成555个回合，成功率为46.2%，超过FLUX 3 Action的42.9%、Cosmos3 Nano的36.8%和π0.5的28.0%。(ithome.com)

| 模型 | RoboLab-120成功率 | 类型 | |---|---:|---| | Praxis-1 | 46.2% | 世界动作模型、开放权重 | | FLUX 3 Action | 42.9% | 世界动作模型 | | Cosmos3 Nano | 36.8% | 世界动作模型 | | π0.5 | 28.0% | 开放权重VLA |

Praxis-1的“第一”需要加上明确限定：它是RoboLab-120中排名最高的世界动作模型和开放权重机器人基础模型，但不是整个排行榜的绝对第一。排行榜中仍有成功率达到86.0%和57.1%的前沿多模态模型智能体，也有51.0%和49.2%的闭源专用模型。

Runway在真实Franka FR3机械臂上与FLUX 3 Action进行了更直接的对比。双方在相同设备上执行10项单物体任务，每项测试10次，Praxis-1成功88次，FLUX 3 Action成功80次。这个样本量还不足以宣布路线胜负，但至少说明Praxis-1的仿真成绩没有完全建立在评测适配上。

为什么能比GPT-6 Astra快15.6倍

通用多模态智能体是使用前沿视觉语言模型理解任务、规划步骤并通过工具接口控制机器人的方案。 这类模型的优势是零样本泛化强，遇到没训练过的任务也能推理；缺点是每一个动作决策都可能触发昂贵而缓慢的大模型推理。

Praxis-1则是一套专门的低层机器人策略。它不需要在执行过程中反复生成长文本、编写控制逻辑或调用多个工具，而是直接在视频潜空间中预测动作块，因此更适合连续、高频的执行环节。

Runway在同一套YAM双臂工作站上测试了Praxis-1与GPT-6 Astra，任务包括取下笔帽、把海绵放入袋中和把骰子放入袋中。三项任务平均下来，Praxis-1完成一次任务需要16秒，Astra需要4分13秒；Praxis-1的平均成本为0.04美元，Astra为1.87美元。

| 任务 | Praxis-1时间 | GPT-6 Astra时间 | 速度差距 | Praxis-1成本 | Astra成本 | 成本差距 | |---|---:|---:|---:|---:|---:|---:| | 取下笔帽 | 15秒 | 7分48秒 | 31倍 | 0.08美元 | 3.47美元 | 43倍 | | 海绵放入袋中 | 22秒 | 2分46秒 | 7.4倍 | 0.03美元 | 1.20美元 | 49倍 | | 骰子放入袋中 | 11秒 | 2分04秒 | 11.5倍 | 0.01美元 | 0.93美元 | 79倍 | | 三项平均 | 16秒 | 4分13秒 | 15.6倍 | 0.04美元 | 1.87美元 | 51倍 |

这组数据不能简单理解成Praxis-1“智能水平超过GPT-6 Astra”。Runway测量的是特定设备、三个固定任务和成功回合的平均执行效率，而且Praxis-1成本按每小时3.95美元的单张H100计算，Astra成本则按模型调用账单计算，双方成本结构并不完全相同。

更合理的结论是：通用大模型更适合做任务分解和异常处理，专用动作模型更适合完成高频控制。未来的机器人系统很可能不是二选一，而是让大模型担任“领班”，把“找到红色杯子并放进抽屉”拆成多个步骤，再由Praxis-1这类低延迟策略负责抓取、移动和放置。

RTX 5090能跑，但离即插即用还有距离

NVFP4是面向NVIDIA Blackwell架构的4位浮点量化格式，可以显著压缩混合专家模型的路由专家权重。 Praxis-1的BF16策略权重占用54.4GB，启用NVFP4后策略部分可缩小至17.5GB；加上文本编码器、VAE等组件，权重加载前的总显存需求约23.5GB，因此32GB显存的RTX 5090理论上可以容纳模型，而24GB显卡不够。(github.com)

“能装进显存”不等于“普通玩家可以一键运行”。官方仓库当前要求Python 3.12、CUDA 13.0和较新的PyTorch环境，首次运行还需要编译计算内核，并在CPU上打包4352个专家矩阵；官方记录显示，使用22个CPU线程完成首次打包约需18分钟。

量化版本也存在精度波动。DROID版本在600个RoboLab回合中，NVFP4取得279次成功，成功率46.5%；相同权重关闭量化后成功287次，成功率47.8%，差距较小。但另一个困难任务检查点在352个回合中从BF16的188次成功降至NVFP4的138次，说明开发者不能假设所有任务都能无损量化。

Praxis-1目前更适合有机器人本体、数据采集能力和GPU工程经验的研究团队，而不是下载后就能控制桌上机械臂的消费级应用。它开放的是一个相当完整的研究与开发底座，并没有消除摄像头标定、动作空间定义、安全限制和真机微调等工程工作。

Runway真正想抢的是“物理世界基础模型”入口

Praxis-1最值得关注的地方不是某一次机械臂测试赢了多少，而是视频生成公司开始把视频模型当作机器人基础设施。视频生成模型过去被视为内容工具，它们现在正逐渐变成预测物理世界变化的通用模型。

Runway的优势是已经拥有大规模视频训练经验、实时推理基础设施和生成式视频模型，进入机器人领域不必从视觉表征重新起步。它的短板也同样明显：真实机器人控制需要安全认证、力觉数据、硬件生态和长期部署经验，这些都不是生成一段逼真视频能够自动获得的能力。

Praxis-1当前最明显的失败模式包括选错外观相似的物体、无法稳定理解模糊指令，以及难以从一个指令自主完成长时间多步骤任务。模型可以完成“把杯子放到托盘上”，但如果要求它自己决定先整理桌面、再打开抽屉、最后把不同物品分类放入，长期状态跟踪仍然是难题。

Runway接下来的研究重点包括长期推理、智能体规划和自我改进闭环，也就是让模型不仅预测未来，还能检查自己预测的未来是否合理，并在动作失败前修正计划。这个方向一旦成立，视频生成中的“多采样挑最好结果”可能会变成机器人控制中的“先想象多个动作结果，再选择风险最低的一条”。

Praxis-1不是通用机器人的终点，但它证明视频预训练正在成为机器人模型的新起点。 如果普通视频确实能够承担大部分世界知识学习，那么机器人行业最昂贵的数据瓶颈将从“必须采集所有知识”变成“只需采集硬件适配和接触细节”，而这可能比单次榜单第一更有价值。

参考来源

• Runway Praxis-1官方GitHub仓库：包含推理服务、仿真评估、完整微调及LoRA微调代码。
• Praxis-1 DROID模型权重：单臂Franka版本的模型卡、参数信息与Apache 2.0许可证说明。
• Praxis-1 Base基础模型：用于适配新机器人本体的基础检查点，不包含特定设备动作头。
• Praxis-1 DROID NVFP4版本：面向RTX 5090等Blackwell显卡的量化版本与显存说明。
• IT之家：Praxis-1速度与成本测试报道：整理模型发布、RoboLab-120成绩及GPT-6 Astra对比数据。