4B模型经强化学习驾驶Tesla Roadster，成绩宣称超过GPT-6 Astra 21%

SkyPilot 用强化学习后训练一个 4B 模型，在 Tesla Roadster 模拟控制任务上宣称比 GPT-6 Astra 高 21%。这不是通用能力逆袭，而是小模型在窄任务上的一次有效专精。

SkyPilot 近日公布了一项强化学习实验：一个仅有 40 亿参数的模型经过后训练后，在 Tesla Roadster 特定模拟控制任务中的成绩，被宣称比 OpenAI 最新前沿模型 GPT-6 Astra 高出 21%。

这项结果最值得关注的地方，不是“小模型击败 GPT-6”的戏剧性标题，而是它再次证明了一条正在变得越来越实用的路线：只要任务边界足够明确、反馈信号足够稳定，小模型通过强化学习形成专用策略，可能比直接调用通用前沿模型更准、更快，也更便宜。

不过，这里的“驾驶 Tesla Roadster”首先要说清楚。它指的是模型在模拟或游戏化环境中根据视觉状态执行连续控制，并不意味着一个 4B 模型已经接管真实车辆，更不能等同于 Tesla Autopilot、FSD 或面向公共道路的自动驾驶系统。

4B 模型与 GPT-6 Astra 在 Tesla Roadster 模拟控制环境中的成绩对比，画面包含车辆、赛道、模型动作轨迹和 21% 提升标识

这次实验到底做了什么

4B 模型是参数规模约为 40 亿的神经网络模型。 这一规模通常远小于闭源前沿模型，能够在更少的 GPU、较低显存占用和更短推理延迟下运行，也更适合针对单一场景反复训练。

强化学习后训练是让预训练模型通过环境反馈继续优化行为策略的方法。 与监督微调直接模仿标准答案不同，强化学习并不要求每一步都有人工标注；模型执行动作后，只要环境能够返回奖励或惩罚，它就可以逐步学会哪些动作更接近最终目标。

控制策略是模型根据当前观察结果选择下一步动作的规则。 在 Roadster 这类任务中，模型可能需要持续处理车辆位置、朝向、速度、障碍物和目标点，并输出转向、加速、减速或其他离散动作。单步判断并不难，真正困难的是数十步乃至数百步动作必须前后连贯。

SkyPilot 给出的核心结论是：经过强化学习后，这个 4B 模型在指定 Roadster 控制任务上的成绩比 GPT-6 Astra 高 21%。截至 2026 年 10 月 30 日，这一数字仍应被理解为项目方在特定环境、特定评分规则和特定推理配置下给出的实验结果，而不是独立第三方已经复现的通用结论。

| 对比项 | RL 后训练 4B 模型 | GPT-6 Astra | |---|---:|---:| | 参数规模 | 约 40 亿 | OpenAI 未公开 | | 训练方式 | 预训练模型基础上进行任务强化学习 | 通用前沿模型训练与对齐 | | Roadster 特定控制成绩 | 项目方宣称领先 21% | 对照基线 | | 是否针对该环境专门训练 | 是 | 未显示为该任务专项训练 | | 通用推理与知识能力 | 未证明 | 前沿水平 | | 本地或私有化部署潜力 | 较高，取决于基础模型许可 | 闭源服务 | | 单次任务成本 | 未披露，理论上更低 | 未披露具体美元价格 | | 第三方复现情况 | 截至发稿尚不充分 | 不适用 |

“高出 21%”不等于全面超过 GPT-6

21% 是特定指标上的相对优势，而不是模型综合能力高出 21%。 如果 Astra 在某项得分越高越好的指标上获得 50 分，那么相对提高 21% 对应的是 60.5 分，而不是增加 21 个百分点后得到 71 分；如果指标是碰撞次数、完成时间或动作数量，则“更好”的计算方向还可能相反。

参考资料目前没有给出足以独立核验的完整评分定义，因此不能把 21% 直接解释为成功率、速度或动作效率提升 21 个百分点。要判断这个结果是否扎实，至少还需要知道评估回合数、随机种子、失败重试规则、视觉输入分辨率、上下文长度、动作空间，以及 Astra 是否使用了与 4B 模型相同的观察信息。

专项训练模型击败通用模型，本质上类似赛车手在固定赛道战胜全能驾驶员。 GPT-6 Astra 需要处理编程、科研推理、网页操作、文档编辑和开放环境规划，而 4B 模型只需要把容量集中在一个目标明确的控制任务上。两者并非在同一训练预算、同一能力范围内竞争。

这并不削弱实验价值，反而揭示了它真正有用的地方。企业部署智能体时，往往并不需要一个模型同时解释量子物理、写商业计划书和控制仓储机器人；如果任务长期固定，专项后训练可以把一个通用模型压缩成更稳定的生产工具。

小模型为什么能赢

稳定且密集的奖励信号，是这次小模型逆袭最可能的技术基础。 在开放式问答中，一个答案好不好往往需要人类判断；在模拟控制环境中，系统可以自动计算是否到达目标、是否发生碰撞、用了多少步、轨迹是否平滑，以及动作是否偏离赛道。

这种环境相当于一台可以自动出题、自动判卷、无限重考的训练机器。模型失败一次后，系统不需要等待标注员写解释，只需返回一个较低奖励；模型找到更短路径或减少碰撞时，系统就给出更高奖励。数千到数万次轨迹积累后，模型会形成针对该环境的动作偏好。

强化学习还可以直接优化最终结果，而不是只优化下一词预测。 通用大模型的基础训练目标通常是预测下一个 token，但控制任务关心的是车辆最终能否安全完成路线。两者之间存在明显差距：一句动作描述在语言上很合理，不代表它在物理环境中可执行。

任务后训练的作用，就是把“听起来合理”改造成“实际跑得通”。模型会逐渐减少无意义探索、反复转向和局部最优动作，把更多概率分配给能够获得长期奖励的决策序列。

4B 规模也让在线采样成本更可控。 强化学习通常需要生成大量轨迹，而轨迹训练最烧算力的部分，恰恰是让模型一遍遍与环境交互。参数规模越大，每次生成和更新的成本越高；4B 模型则可以用同样预算采集更多回合，甚至用更多随机初始状态覆盖失败边界。

如果一个 4B 模型能在单张高显存消费级 GPU 或小型推理节点上运行，它还可以减少远程调用带来的网络延迟。连续控制对延迟极为敏感：聊天任务晚 500 毫秒通常只是体验问题，控制任务晚 500 毫秒可能已经错过转向窗口。

GPT-6 Astra 不是一个容易击败的基线

GPT-6 Astra 是 OpenAI 在 2026 年推出的通用前沿模型，重点能力包括计算机操作、复杂智能体任务、科研推理和视觉交互。 OpenAI 公布的资料显示，Astra 在 Terminal-Bench 4.0 上获得 57.9%，高于 GPT-5.6 Sol 的 37.3% 和 Claude Fable 5.1 的 55.8%。

Astra 在 GPQA Diamond 上取得了 96.0% 的成绩。 GPQA Diamond 是面向生物学、化学和物理学研究生级问题的高难度推理基准，GPT-5.6 Sol 的对照成绩为 94.6%。这说明 Astra 的强项依然是跨领域知识、复杂推理和通用任务迁移，而不是只在某一条模拟赛道上反复优化。

| 模型 | Terminal-Bench 4.0 | GPQA Diamond | OSWorld 2.0 | 主要定位 | |---|---:|---:|---:|---| | GPT-6 Astra | 57.9% | 96.0% | 72.6% | 通用智能体与计算机操作 | | GPT-5.6 Sol | 37.3% | 94.6% | 65.7% | 上一代通用前沿模型 | | Claude Fable 5.1 | 55.8% | 未提供 | 未提供 | 通用智能体与推理 | | RL 后训练 4B 模型 | 未测试 | 未测试 | 未测试 | Roadster 特定控制任务 |

OpenAI 还称，Astra 在 OSWorld 2.0 延迟模拟中的单项任务平均耗时约 40 分钟，比 GPT-5.6 Sol 的约 75 分钟减少 35 分钟，降幅约 46.7%。这些成绩与 Roadster 实验衡量的能力并不相同，但它们提醒我们：一个模型在窄控制任务上获胜，不代表它能替代 Astra 完成跨应用、跨知识领域的智能体工作。

这项结果还缺哪些关键证据

当前最重要的缺口是可复现性，而不是更漂亮的演示视频。 强化学习结果对奖励函数、随机种子和评估规则高度敏感，同一个模型只要允许更多次尝试，就可能显著提高最好成绩。

一份足够可信的技术报告至少应该披露以下信息：

4B 基础模型的准确名称、版本、上下文长度和视觉编码方式；
训练所使用的 GPU 型号、数量、总时长和大致计算量；
强化学习算法、奖励函数及是否加入行为克隆或监督微调；
每个模型的评估回合数、随机种子数量和置信区间；
GPT-6 Astra 的提示词、视觉输入频率、推理强度与重试次数；
“领先 21%”对应的原始分数、计算公式和指标方向；
是否统计所有失败轨迹，还是只展示最佳回合；
模型是否在训练期间见过评估地图、车辆状态或相似关卡。

公平比较还要求两个模型获得相同的信息和动作权限。 如果 4B 模型可以读取精确坐标、速度和碰撞状态，而 Astra 只能看压缩截图，那么结果主要反映的是输入条件差异；如果 Astra 每隔数秒才能输出一次动作，而专用模型可以高频控制，比较同样缺乏意义。

强化学习基准也容易被奖励函数“钻空子”。 模型可能找到一种能提高分数、却不符合设计者真实意图的策略，例如绕过部分路线、利用碰撞机制重置位置，或通过重复动作触发环境漏洞。因此，轨迹回放、失败案例和独立测试地图比单一总分更有说服力。

真正的产业意义：前沿模型负责教，小模型负责跑

这项实验更可能预示一种分层部署模式，而不是 4B 模型全面取代前沿模型。 通用大模型适合拆解任务、生成训练数据、设计奖励函数和分析失败案例；小模型则在明确场景中承担高频、低延迟执行。

在仓储机器人场景中，前沿模型可以理解自然语言指令并规划整体流程，专用小模型负责避障和路径跟随。在桌面自动化场景中，前沿模型可以判断用户意图，较小的视觉策略模型则负责点击固定软件中的按钮。在游戏测试中，大模型可以生成测试目标，RL 模型持续运行数十万次操作并寻找边界漏洞。

这种架构的优势是把昂贵智能用在低频决策上，把便宜智能用在高频动作上。 控制回路可能每秒运行多次，如果每一步都交给最大模型，不仅成本高，延迟和输出波动也难以接受。一个针对任务训练过的 4B 模型，哪怕通用能力有限，只要动作稳定，就可能更符合生产需求。

小模型专项强化学习的最大风险是泛化边界过窄。 模型在固定车辆、固定地图和固定摄像机角度上表现优秀，并不意味着更换天气、障碍物、动力参数或视觉风格后仍然可靠。实验下一阶段的关键，不是继续刷高同一关卡分数，而是测试分布外环境。

OpenAI Hub 观点

这次 21% 的领先值得重视，但不值得被包装成“4B 模型全面打败 GPT-6”。 它证明的是后训练与任务匹配的重要性，而不是参数规模已经失去意义。

GPT-6 Astra 像一名知识面很广、能快速接手陌生软件的高级工程师；RL 后训练的 4B 模型则像一名在同一条生产线上练习了数万次的熟练操作员。前者胜在迁移与规划，后者胜在稳定、速度和成本。让熟练操作员在固定动作上赢过高级工程师，并不意外，但把这种胜利稳定复制到更多真实任务上，才是产品化的开始。

截至 2026 年 10 月 30 日，这项实验最合理的结论是：在可自动评分的封闭控制环境中，4B 级模型经过强化学习后，有机会超过未经专项训练的通用前沿模型；但在完整训练配置、原始分数和第三方复现公开之前，21% 仍是项目方声明，而不是已经确立的新行业基准。