百度用 Agent 造了一座练车世界

百度把自动驾驶的训练场，从一段段预先录好的道路视频，升级成了一座能够对车辆动作作出反应的虚拟城市。

11 月 3 日，百度 Apollo 在深圳举行的百度 AI Day·Apollo 专场上，首次披露面向物理 AI 的智能体驱动全模态世界模型 Apollo World。这套模型不仅能生成相对真实的驾驶画面，还能模拟车辆、行人、道路和天气随时间变化的过程，让无人车从任意起点出发，连续通过多个交通场景并抵达目的地。

Apollo World 是一个用于模拟交通环境、预测物理世界变化并与自动驾驶系统实时交互的全模态世界模型。 百度披露，该模型已经用于萝卜快跑的全球化测试与验证，但暂未公布模型规模、训练算力、生成帧率、端到端延迟和量化测试结果。

这次发布最重要的部分并不是“又一个能生成视频的模型”，而是百度试图为自动驾驶世界模型划出一条及格线：世界模型必须具有因果性和交互性，并进一步满足物理准确性、持久性与实时性。

Apollo World 不是交通视频生成器

世界模型是能够学习环境状态、物理规律和时间演化，并根据外部动作预测未来状态的 AI 模型。 它与普通视频生成模型的差别，在于后者主要解决“下一帧看起来像不像”，前者还要回答“如果无人车此刻转向、刹车或加速，下一刻究竟会发生什么”。

一段视觉上逼真的道路视频，并不等于一个合格的自动驾驶世界模型。视频生成模型可以让车辆沿着道路自然移动，却未必理解轮胎抓地力、制动距离、遮挡关系和交通参与者之间的博弈，也无法保证相机画面中的车辆与激光雷达点云里的障碍物处于同一位置。

Apollo World 试图解决的是后一个问题。无人车在虚拟环境中接收相机画面和激光雷达点云，完成感知、预测与规划，再把转向、加速或减速动作传回世界模型；世界模型随后更新道路状态、交通参与者行为和传感器观测，由此形成连续闭环。

全模态世界模型是能够在同一环境状态下生成并对齐多种传感器观测的模型。 在 Apollo World 中，天气变化不应只体现在相机画面里，激光雷达点云也需要同步发生符合传感器特性的变化，否则自动驾驶系统学到的只是不同模态彼此矛盾的“假经验”。

这使 Apollo World 的定位更接近一台可以被自动驾驶系统操控的“交通游戏引擎”，而不是一台只负责播放道路画面的“视频播放器”。区别在于，游戏引擎会读取玩家动作、计算其他角色的反应，并持续更新整个世界；播放器无论驾驶系统做什么，下一帧都已经被提前决定。

Agent 是这座虚拟城市的关键变量

AI Agent 是能够感知环境、制定决策并执行动作的自主智能体。 Apollo World 将虚拟城市中的车辆、行人等交通参与者建模为 Agent，而不是沿固定路线、按照固定时间表移动的脚本道具。

Agent 化让同一个场景产生大量不同但仍可能合理的未来。例如，无人车在无保护左转时选择向前试探，迎面车辆可能减速，也可能继续抢行；路边行人可能等待，也可能突然迈入车道。无人车如果选择完全停车，其他参与者又会做出另一套反应。

这种变化对自动驾驶训练很重要，因为真实道路不是一道只有标准答案的选择题。传统日志回放只能重现“当时实际发生的未来”，却无法回答“如果当时车辆提前 0.5 秒制动，风险是否能够避免”；交互式世界模型则有机会生成动作改变后的反事实结果。

反事实模拟是通过改变某个动作或条件，推演另一种可能结果的方法。 对自动驾驶而言，它可以把一次真实路测扩展为多次虚拟试验：保持道路、天气和交通参与者初始位置不变，只调整自车速度、路线或决策时机，再观察碰撞风险和通行效率如何变化。

Apollo World 因此不只是给驾驶模型提供更多画面，更是在制造可控的决策后果。只要物理规律和其他 Agent 的行为足够可信，自动驾驶系统就能在不增加真实道路风险的前提下，反复测试激进、保守或边界条件下的驾驶策略。

百度提出“2+3”，先给世界模型设一套验收标准

百度为自动驾驶世界模型提出了“2+3”判断标准，其中“2”是因果性与交互性两项基础门槛，“3”是物理准确性、持久性与实时性三项进阶指标。

| 层级 | 判断标准 | 核心问题 | 对自动驾驶的实际意义 | |---|---|---|---| | 基础门槛 | 因果性 | 模型是否由当前状态预测未来，而不是拼接画面或利用未来信息反推过去 | 防止测试结果建立在现实中无法获得的信息上 | | 基础门槛 | 交互性 | 外部动作是否会改变后续世界状态 | 允许测试不同转向、制动和加速策略 | | 进阶指标 | 物理准确性 | 车辆运动、碰撞、遮挡和传感器观测是否符合现实规律 | 决定虚拟环境学到的能力能否迁移回真实道路 | | 进阶指标 | 持久性 | 长时间运行后，物体身份、位置和场景细节是否漂移 | 决定模型能否支持跨路口、跨道路的完整任务 | | 进阶指标 | 实时性 | 场景复杂度增加时，推理延迟能否保持可控 | 决定系统能否高效率闭环测试，而非离线慢速生成 |

因果性是这套标准中最容易被低估的一项。自动驾驶模型只能根据过去和当前观测作出决定，如果世界模型在生成下一帧时偷看了未来轨迹，最终得到的测试成绩会虚高，类似于让考生提前看到答案再参加考试。

交互性则把世界模型与日志回放彻底区分开来。日志回放中的前车不会因为测试车辆加速而让行，也不会因为测试车辆鸣笛而改变轨迹；可交互环境必须把自车动作注入状态转移过程，并重新计算所有参与者的后续行为。

物理准确性决定了虚拟训练能否真正迁移到现实。车辆在雨天制动距离是否合理、行人是否会瞬间穿越障碍物、激光雷达是否能反映雨雾和遮挡影响，这些问题比画面纹理是否逼真更重要。

持久性是生成式世界模型当前最难绕开的挑战之一。模型连续生成数秒钟画面并不困难，但如果任务持续数十分钟，车辆外观、道路结构、红绿灯状态和行人身份都可能逐渐漂移，最终让虚拟城市失去一致性。

实时性则直接影响测试吞吐量。百度将“世界复杂度增长不影响模型推理时间”列为目标，但此次没有公布具体帧率、单帧延迟或并发规模，因此目前还无法判断 Apollo World 的实时能力达到了在线闭环，还是依赖低于真实时间速度的离线运行。

从单个路口生成，走向完整订单验证

Apollo World 的明显进步是把世界模型的工作范围从局部片段扩展到了端到端出行任务。百度称，无人车可以在虚拟城市中从任意起点驶向任意终点，连续经过不同道路和交通场景，完成接单、载客和送达的完整流程。

长时任务比单个路口测试更接近 Robotaxi 的真实运营要求。一次订单可能包含驶出停车区、汇入主路、经过施工路段、处理无保护转弯、寻找上客点和靠边停车等多个环节，任何一个环节失败都可能导致整单无法完成。

完整订单验证也能暴露短片段测试看不到的问题。例如，一套规划策略在单个路口可能非常安全，但如果每次都过度保守，车辆经过十几个路口后便会积累数分钟延误；另一个策略可能局部通行效率很高，却在长时间运行后频繁触发急刹。

闭环测试是让自动驾驶系统的动作持续影响测试环境，并由环境返回新观测的验证方式。 Apollo World 的训练与验证链条可以概括为：从真实数据提取高价值场景，将其转化为可重复的虚拟环境，让驾驶系统反复演练，再把测试结果用于系统迭代，最后回到真实道路检验迁移效果。

这种闭环的商业价值在于降低罕见场景的获取成本。一次危险加塞、异形车辆掉落货物或极端天气下的传感器失效，在真实道路上可能需要行驶大量里程才能遇到，但进入世界模型后可以被重复执行数千次，并系统改变车速、距离、光照与天气条件。

它与传统仿真和视频生成有什么不同

Apollo World 选择了一条介于传统仿真引擎与生成式视频模型之间的路线：它希望同时获得前者的可控性与后者的真实感，再通过 Agent 提供动态行为。

| 技术路线 | 环境来源 | 能否响应自车动作 | 物理与传感器一致性 | 长时任务能力 | 主要短板 | |---|---|---:|---|---|---| | 日志回放 | 真实道路历史数据 | 否 | 真实记录内较高 | 取决于日志长度 | 无法测试历史中未执行的动作 | | 规则式仿真 | 人工建模与脚本 | 是 | 可控但真实感有限 | 较强 | 场景制作成本高，行为容易模式化 | | 通用视频生成 | 生成模型 | 通常较弱 | 视觉真实感较高，物理一致性不稳定 | 容易出现漂移 | 难以作为可靠驾驶验证环境 | | Agent 世界模型 | 真实数据、生成模型与智能体 | 是 | 目标是跨模态、跨时间一致 | 目标是支持完整订单 | 训练成本高，可信度需要量化验证 |

Agent 世界模型并不会自动替代传统仿真。交通法规校验、确定性回归测试和精确复现仍然适合规则式仿真，因为工程团队需要知道每次测试的输入和输出为什么发生变化。

更现实的组合是让生成式世界模型负责扩大场景分布，让传统仿真负责可解释、可重复的安全验证。前者擅长提出大量新问题，后者擅长对关键问题给出稳定答案，两者最终还要接受封闭道路与公开道路测试的检验。

百度真正的优势不是模型名称，而是数据飞轮

百度做 Apollo World 的主要筹码，是萝卜快跑长期积累的真实运营数据。公开信息显示，萝卜快跑已经进入全球 28 座城市，百度公开的自动驾驶测试总里程超过 3.5 亿公里，这些数据覆盖不同城市结构、交通规则、驾驶风格和天气条件。

真实数据对世界模型的价值不仅体现在数量上，更体现在连续闭环记录上。只有同时保存相机、激光雷达、车辆状态、规划结果、控制动作和其他交通参与者后续变化，模型才有可能学习“采取某个动作之后，世界如何改变”。

全球化运营也给 Apollo World 带来了明确任务。左舵与右舵交通、不同道路标线、环岛规则、摩托车密度和行人行为会显著改变场景分布，单纯复制国内城市数据无法覆盖这些差异。

Apollo World 已用于萝卜快跑全球化测试与验证，说明它首先是一套内部基础设施，而不是面向普通开发者开放的通用视频产品。百度此次没有公布公开体验入口、商业授权价格、模型权重或标准化接口，开发者短期内无法像使用通用生成模型一样直接调用它。

发布信息仍缺少最关键的量化成绩

Apollo World 的方向成立，但此次发布更像一次技术路线宣告，而不是完整的模型交付。百度展示了能力框架和使用场景，却没有给出足以横向比较的技术指标。

| 已披露信息 | 尚未披露信息 | |---|---| | 支持相机画面与激光雷达点云生成 | 具体支持的相机数量、分辨率和激光雷达规格 | | 交通参与者由 AI Agent 驱动 | Agent 数量上限、行为模型及可控参数 | | 支持任意起终点与完整出行任务 | 单次稳定运行时长、最大道路范围 | | 已用于萝卜快跑全球化测试与验证 | 覆盖国家、城市及实际测试规模 | | 强调低时延与实时性 | 生成帧率、端到端延迟和硬件配置 | | 强调物理准确性 | 碰撞率、轨迹误差、传感器一致性等基准结果 |

世界模型是否好用，最终不能只看演示视频。更有说服力的指标应包括轨迹预测误差、传感器跨模态一致性、长时物体身份保持率、碰撞动力学误差、闭环任务完成率，以及由虚拟训练迁移到真实道路后的接管率变化。

实时性也需要明确测试条件。一个只有少量车辆的十秒钟场景，与包含数百个交通参与者、持续运行半小时的城市任务不是同一种负载；如果没有硬件、分辨率、Agent 数量与运行时长，单独谈“实时”没有比较意义。

安全验证更不能由世界模型自己给自己打分。假如驾驶模型和世界模型共享相似的数据偏差，前者可能恰好学会了后者偏好的行为，却在真实世界中失效，因此关键结论仍需要独立仿真、封闭道路和真实运营数据交叉验证。

Apollo World 的价值，在于把路测里程变成可计算资产

Apollo World 最值得关注的地方，是百度正在把 3.5 亿公里级别的道路积累转化为可以反复生成、干预和评估的训练资产。真实路测数据过去主要用于复盘已经发生的问题，而交互式世界模型可以围绕同一个问题探索大量尚未发生的未来。

这也是所谓“用 AI 教 AI 开车”的准确含义。第一个 AI 负责生成环境、控制交通参与者并给出动作后果，第二个 AI 负责感知、规划和驾驶；两者在虚拟世界中高频对抗，再把结果带回真实道路验证。

百度提出的“2+3”标准，也比单纯强调画面效果更接近自动驾驶行业的真实需求。因果、交互、物理准确、持久和实时分别对应可信度、可测试性、迁移能力、任务长度和测试效率，缺少任何一项，都可能让世界模型退化成一段昂贵但无法用于安全验证的视频。

Apollo World 目前仍需要更多数字证明自己。只要百度后续能够公开长时稳定性、闭环延迟、跨模态误差和真实道路迁移收益，它就有机会成为萝卜快跑跨城市、跨国家复制的重要基础设施；如果长期只有演示画面和概念标准，它与通用视频生成模型之间的边界仍然不够清晰。

对自动驾驶行业而言，世界模型并不是实车测试的替代品，而是一台扩大测试速度与场景密度的“时间机器”。它真正的目标不是让虚拟城市看起来更像现实，而是让无人车在进入现实之前，提前经历足够多种可能出错的未来。

参考来源

• IT之家：用 AI 教 AI 开车，百度 Apollo World 世界模型亮相 — 介绍 Apollo World 的首次披露、全模态闭环能力及“2+3”判断标准。
• IT之家：消息称百度近期披露世界模型研发进展，有望率先用于自动驾驶 — 提供发布前信息，以及萝卜快跑城市覆盖和世界模型应用背景。