GroundingPI登顶34项感知基准

小鹏集团联合北京大学、香港大学等机构近日发布具身感知基座模型 GroundingPI，并于 11 月 4 日集中披露了完整研究结果。这个只有约 40 亿参数的模型，在覆盖 11 类能力、34 项公开基准的综合评测中取得 73.68 分，超过 GPT-6 Astra High thinking 模式的 71.54 分；在机器人仿真和自动驾驶实验里，它也表现出更高的数据效率与分布外泛化能力。

GroundingPI 是一个面向物理智能的原生视觉定位基础模型，核心任务是把语言中的目标精确对应到图像中的点、边界框或局部区域。项目名称中的 Grounding 指视觉定位，PI 则是 Physical Intelligence，即物理智能。

这项工作的关键不在于又做了一个会看图的多模态模型，而在于重新安排了具身智能的学习顺序：先把“是什么、在哪里”练扎实，再学习“应该怎么动”。对于当前大量直接从通用视觉语言模型或视频生成模型改造而来的 VLA 系统，这是一条值得重视的技术分叉。

4B 模型综合得分超过 GPT-6 Astra

Grounding 是让模型把文字概念落到具体视觉区域的能力。例如，用户要求机器人抓住“右侧杯子的把手”，模型不仅要知道画面里有杯子，还要指出哪个杯子、把手位于哪里，以及对应的可操作区域。

GroundingPI 在 34 项公开基准、44 个对照模型上进行了统一评测，任务覆盖通用目标检测、密集小目标、指代定位、视觉指向、OCR、文档版面、GUI 元素、计数和机器人空间定位等 11 类能力。研究团队按照 11 个能力类别等权计算综合分，而不是把所有数据集的原始数字直接混在一起平均。

| 模型 | 参数规模 | 34项基准综合分 | 与GroundingPI差距 | 主要定位 | |---|---:|---:|---:|---| | GroundingPI | 约4B | 73.68 | — | 原生Grounding与物理感知基座 | | GPT-6 Astra（High thinking） | 未公开 | 71.54 | -2.14分 | 通用前沿多模态模型 |

GroundingPI 相对 GPT-6 Astra 高出 2.14 个绝对分，按 71.54 分计算，相对优势约为 2.99%。在基础模型规模越来越大的背景下，4B 模型能在广泛感知能力上超过更大的闭源前沿模型，说明任务专用的数据配方和输出表示，仍然可以抵消相当一部分参数规模差距。

“登顶 34 项基准”需要被准确理解为在这套包含 34 项基准的综合评测中排名第一，而不是在每一个单项数据集上都拿到第一。GroundingPI 在部分高难度 GUI、微小边界框和特定 OCR 场景中仍有缺口；不同模型支持的输出协议也不完全一致，论文中的星号、N/A 和解析失败不能简单等同于模型能力为零。

这套评测的统计方式比单次跑分更严格。公开分析显示，GroundingPI 的结果使用 5 个随机种子、每个种子运行 2 次，共 10 次取均值；部分本地复现的基线则使用 3 次运行均值。边界框 Grounding 和 OCR 主要采用 F1mIoU，Pointing 使用 F1@Point，空间理解及 GUI 任务则使用对应准确率。

它为什么不先学动作

“感知优先”是一条将精确空间表征放在动作学习之前的具身智能路线。GroundingPI 的判断是，如果模型连目标位于哪里都不清楚，那么再多动作示教也可能只是记住数据集里的表面相关性，换一个杯子、桌面或摄像机角度就会失效。

GroundingPI 在感知预训练阶段没有使用带机器人关节动作标签的数据，而是使用无动作标签的纯感知数据。这里的“无动作标签”并不等于完全无监督，而是训练监督集中在目标类别、点、边界框、文字区域、版面结构和视觉提示等感知信号上，不要求记录机械臂每个关节在每一帧的动作值。

视觉基元是能够构成更复杂场景理解的基础视觉单元，在 GroundingPI 中主要表现为点和边界框。模型把这些坐标量化后放入与文本共享的词表，使“杯子”“把手”和“坐标位置”都可以通过同一种自回归生成方式输出。

这套设计的好处是统一。通用检测需要输出边界框，Pointing 需要输出点，OCR 需要同时识别文字和位置，GUI 操作需要定位按钮，机器人则需要找到抓取目标与可交互部件；过去这些任务往往依赖不同的检测头或专用模型，GroundingPI 试图用一套坐标语言覆盖它们。

统一输出也意味着模型可以复用语言模型成熟的训练基础设施。与额外增加连续坐标回归头相比，把坐标离散化为词元后，模型可以直接使用自回归损失学习文本与几何关系，后续再通过强化学习优化区域覆盖率、定位精度和输出格式。

三阶段训练把通用视觉模型改造成定位基座

GroundingPI 的训练由通用多模态预训练、坐标对齐监督微调和 GRPO 强化后训练三个主要阶段组成。三阶段分别解决“看得懂画面”“能按协议输出位置”和“输出位置足够准确”三个问题。

第一阶段建立通用视觉语言能力。团队先冻结视觉与语言骨干，通过图像描述数据训练视觉投影模块，随后解冻全部模块，继续使用文本、图文、VQA、指令跟随、图像描述和视频数据进行联合训练。

第二阶段让模型形成统一的空间输出习惯。训练数据覆盖目标检测、GUI、指称框、指称点、OCR、文档版式、密集点、计数和视觉提示等任务，监督对象同时包含语义词元、坐标词元和协议格式，但不额外设置独立的 IoU 回归头。

第三阶段用 GRPO 强化定位质量。GRPO 是一种基于同组候选响应相对奖励进行优化的强化学习方法，GroundingPI 会针对同一个图像—问题对采样多个答案，再依据覆盖率、定位精度、文本—几何一致性和格式质量给予奖励。

这套训练方法的实质，是把过去作为 VLA 附属能力的视觉定位单独做成基础模型目标。它不要求感知模型自己完成长链规划、动力学推演和低层控制，但要求它给后续动作模块提供更可靠的空间表征。

更有价值的结果在机器人任务，而不只是榜单

GroundingPI 最有说服力的实验，是在固定动作模块、动作数据和训练预算后只替换视觉骨干。因为如果同时修改 Action DiT、动作数据和感知模型，最终成功率的变化很难归因；固定其他变量后，才能判断 Grounding 预训练是否真的帮助机器人执行。

研究团队在 RoboTwin 2.0 和 RoboCasa-GR1 上进行了机器人操作评估，并使用 nuScenes 做自动驾驶开环轨迹预测。RoboTwin 主要检验不同物体、背景和环境变化下的操作泛化，RoboCasa-GR1 则覆盖家庭场景中的长尾操作任务。

| 下游评测 | GroundingPI结果 | 对比结果 | 结论 | |---|---:|---:|---| | RoboTwin 2.0四种OOD设置 | 四项均排名第一 | 最强基线低于GroundingPI | 全部分布外设置领先 | | RoboTwin Clean2Random | 相对次优提升24.8% | 次优基座为参照 | 随机场景泛化优势最明显 | | RoboCasa-GR1数据效率 | 50%示教数据取得28.75%成功率 | RynnBrain使用75%数据为27.75% | 少用25个百分点示教数据仍高1分 | | RoboCasa-GR1分布内测试 | 37.75% | RynnBrain-2B为39.00% | GroundingPI落后1.25分 | | nuScenes开环轨迹预测 | 平均L2误差0.296米 | 同协议骨干对比 | 感知表征可迁移到驾驶 |

GroundingPI 在 RoboTwin 的四种分布外设置中全部领先，其中 Clean2Random 的成功率较次优模型相对提升 24.8%。分布外测试会改变背景、物体组合或视觉条件，比训练分布内的重复任务更接近机器人实际部署时遇到的环境变化。

数据效率结果同样值得关注。GroundingPI 只使用 50% 机器人示教数据，就取得 28.75% 的任务成功率，高于 RynnBrain 使用 75% 示教数据时的 27.75%；换句话说，它少用了相当于完整数据集 25 个百分点的动作示教，成功率仍高出 1 个百分点。

更少示教数据的现实意义是降低采集成本。机器人动作数据通常需要真人遥操作、设备运行和安全检查，同一任务还要覆盖不同摆放位置、光照和干扰物；相比直接抓取互联网图文数据，这类数据更贵，也更难规模化。

不过，GroundingPI 并没有在所有机器人测试里获胜。在 RoboCasa-GR1 分布内评测中，它的成功率为 37.75%，低于 RynnBrain-2B 的 39.00%，差距为 1.25 个百分点。这说明专用具身模型在熟悉任务上仍可能占优，GroundingPI 的突出价值更多体现在跨场景泛化和示教数据效率，而不是对所有执行模型形成全面碾压。

这不是一个完整的机器人“大脑”

GroundingPI 证明的是精准感知能够成为独立优化的基础变量，而不是感知可以替代规划与控制。机器人在真实环境中完成任务，还需要动作规划、接触建模、动力学预测、碰撞规避和闭环反馈；知道杯子把手在哪里，不代表机械臂一定知道该以什么角度、力度和速度抓住它。

VLA 是视觉—语言—动作模型，它直接把图像与语言指令映射为机器人动作序列。GroundingPI 与 VLA 的关系更像高质量视觉底座与动作策略的组合：前者负责把物体、部件和空间位置交代清楚，后者负责决定接下来如何运动。

System 1 物理智能是强调低延迟、快速反应和直接感知—动作映射的执行系统。GroundingPI 面向的主要是这一层能力，而不是依靠长时间思维链完成复杂任务分解的 System 2 推理；对于需要高速闭环控制的机器人和驾驶系统，稳定、可量化的坐标输出往往比语言解释更重要。

目前的实验边界仍然明显。机器人结果主要来自仿真环境，尚未充分回答真实机械臂中的相机噪声、遮挡、反光、执行误差和接触失败；自动驾驶只评估开环轨迹预测，0.296 米平均 L2 误差不能直接等同于闭环道路安全表现。

开源可用，但许可证需要仔细看

GroundingPI 已经公开代码和模型权重，开发者可以通过 GitHub 仓库 查看实现，并在 Hugging Face 模型页 获取权重。项目相关论文于 2026 年 9 月 30 日提交，代码与权重随后更新，11 月 4 日的小鹏联合发布则进一步公布了完整对比与落地结论。

GroundingPI 的许可并非一句“Apache 2.0”就能概括。公开仓库标注为 apache-2.0-with-upstream-kimi-k3，并包含 Apache-2.0 与 Kimi K3 相关许可文件；计划商用、再分发或进行模型合并的团队，应先核对权重来源、上游条款和衍生模型义务。

4B 参数规模则让本地部署具备现实可能。与数百亿参数的通用多模态模型相比，4B 模型在显存占用、端侧量化和推理延迟上更容易控制，但论文展示的是科研原型结果，真实机器人的帧率、量化精度损失和控制周期仍需独立验证。

GroundingPI真正改变的是VLA基座的选择标准

GroundingPI 给行业提出了一个直接问题：具身模型的视觉基座，是否还应该默认选择通用 VLM 或视频生成模型。通用模型擅长描述画面和回答问题，但机器人需要的是稳定定位密集小物体、可交互部件和空间关系，这两类能力并不完全相同。

这项工作的最大价值，是把“感知是否足够精确”从动作模型的附属问题提升为独立评测目标。过去 VLA 的最终成功率混合了视觉、语言、动作模型和数据质量等多重因素，失败后很难判断究竟是没看见、没理解，还是不会动；GroundingPI 试图先把“看见并定位”单独测清楚。

短期来看，GroundingPI 更适合被视为可插拔的感知底座，而不是开箱即用的通用机器人模型。它对需要 GUI 操作、密集目标检测、仓储拣选、家庭机器人和自动驾驶感知研究的团队有直接参考价值，尤其适合验证“更强 Grounding 是否能够减少动作示教”的研究假设。

长期来看，感知预训练可能成为具身模型竞争中的独立赛道。GroundingPI 用 4B 参数、73.68 分综合成绩和最高 24.8% 的分布外相对提升证明，扩大动作数据并非唯一方向；先让模型准确知道目标在哪里，可能是比盲目堆叠机器人轨迹更便宜、也更容易扩展的一条路。

参考来源

• IT之家：小鹏联合北大、港大等发布 GroundingPI：11 月 4 日发布信息及 34 项基准、GPT-6 Astra 对比数据。
• GroundingPI GitHub 仓库：官方代码、配置、许可证和项目说明。
• GroundingPI Hugging Face 模型页：官方模型权重与模型卡。
• 知乎：GroundingPI 技术与评测解析：训练阶段、评测协议、统计方式及研究边界分析。