WorldProof开源，世界模型评测开始查病因

世界模型评测不只要判分，还要解释哪里坏了

WorldProof近日以开源工具的形式公开，核心目标是定位世界模型的预测从哪一步开始失效，以及失效更可能来自视觉误差还是物理规律违背。 按项目作者在 2026 年 8 月发布的介绍，它面向一类输入初始上下文和动作序列、随后生成未来视频帧的世界模型，将预测 rollout 同时与真实观测和物理不变量进行比较，但刻意不评估任务成功率与规划质量。

世界模型是智能体对环境状态、演化规律和动作后果的内部表征，用于预测未来并支持规划与决策。 在机器人场景中，它要回答的不是“下一帧看起来像什么”这么简单，而是“机械臂执行这个动作后，夹爪、物体和环境会怎样变化”。如果模型只生成了一段视觉上平滑的视频，却让物体穿过桌面、在没有接触时自行移动，或者忽略了机械臂动作，那么它仍然不是一个可靠的环境模拟器。

WorldProof想解决的，正是目前世界模型评测中一个越来越明显的断层：研究者能得到一个 SSIM、PSNR 或感知距离分数，却很难由此回答模型为什么失败。

“复制最后一帧”拿到0.983 SSIM

WorldProof最值得关注的结果，不是它又提供了一套分数，而是它用一个极弱基线暴露了像素指标的失灵。 作者在真实 SO-101 机械臂录像上测试了“复制最后一帧”基线：模型不预测任何变化，只把上下文的最后一帧重复输出，等价于假设接下来什么都不会发生。

测试数据包含 3个摄像头、64段 rollout、6步预测长度，原始视频为 30 fps。为了防止静止背景抬高成绩，作者还只在发生运动的区域计算指标。即使如此，这个“什么也不预测”的基线仍获得了 0.983 SSIM 和 53.9 dB PSNR。

SSIM是通过亮度、对比度和结构相似性衡量两张图像接近程度的指标，数值越接近1通常表示越相似。 PSNR是依据像素均方误差计算的图像保真度指标，单位为dB，数值越高通常表示像素误差越小。 两者原本主要服务于图像压缩、重建和传输质量评估，并不是为动作条件下的未来预测设计的。

作者披露的逐步 SSIM 如下：

| 预测步数 | Step 1 | Step 2 | Step 3 | Step 4 | Step 5 | Step 6 | |---|---:|---:|---:|---:|---:|---:| | SSIM | 0.972 | 0.923 | 0.893 | 0.943 | 0.920 | 0.950 |

这组数字的问题不只是分数高，而是误差没有随着预测时间稳定增长。 第3步的 SSIM 降至 0.893，第4步却回升到 0.943，第6步又达到 0.950。对于完全复制最后一帧的基线，这种波动意味着指标主要受到画面局部运动幅度、遮挡和视角变化影响，而不一定反映模型是否正确理解了动作后果。

这里还需要谨慎区分作者给出的 总体 SSIM 0.983 与逐步 SSIM。原始公开说明没有完整展开两者的聚合口径、掩码归一化方式和跨摄像头权重，因此不能简单用逐步数据重新计算总体结果。更严谨的结论不是“SSIM一定错误”，而是：在目前披露的真实机器人样本和评测口径下，高 SSIM 无法证明模型完成了有效预测。

像素指标为什么会奖励“不作为”

真实机器人视频中的静态占比极高，使得像素级平均值天然偏爱保守预测。 一段机械臂操作视频里，桌面、墙面、支架和大部分机械臂结构在相邻帧之间几乎不动，真正决定任务进展的区域可能只占几十个像素。即便评测只覆盖运动区域，30 fps 视频相邻帧的位移仍可能很小，“原地不动”在短预测跨度内就能获得漂亮分数。

PSNR对少量但关键的语义错误尤其不敏感。 假设夹爪差了几毫米没有夹住物体，错误区域在整张图里占比很低，均方误差仍可能很小；但对机器人控制而言，这几毫米会把“成功抓取”直接变成“任务失败”。像素指标回答的是画面平均差异，而控制系统关心的是接触是否发生、物体是否被约束、动作是否产生预期状态转移。

SSIM也可能把错误的动力学过程判断为视觉相似。 一个物体应该随夹爪向左移动，但预测中仍停留在原位，只要纹理、光照和背景结构相近，SSIM就不会受到与任务严重程度相匹配的惩罚。换句话说，SSIM能发现“画面变糊了”，却未必能发现“因果关系写反了”。

短时视频评测还存在时间尺度错配。 6步、30 fps 对应约 0.2秒 的原始视频跨度；如果这里的“步”与视频帧一一对应，那么许多机器人动作在这段时间内尚未形成显著视觉变化。当然，公开说明尚未完整确认动作步与视频帧是否严格一一对应，因此0.2秒只能视为按原始帧率计算的名义跨度，而不是对数据采样方式的最终判断。

WorldProof的变化，是从排行榜转向故障诊断

失效定位是把一个总体误差拆解到具体时间、区域和约束类型，从而判断预测在何处、以何种方式偏离现实。 WorldProof将 rollout 与真实视频对齐，可以观察错误最早出现在哪个预测步；再结合物理不变量，可以区分“长得不像”与“物理上不成立”。这更接近软件测试中的堆栈和断言，而不是只在程序结束后给出一个通过率。

物理不变量是指在特定环境与时间尺度内应保持成立的物理约束。 它不意味着工具可以自动验证全部物理定律，而是为具体数据集配置可检查的约束。例如，刚体不应无故改变尺寸，未受外力的静止物体不应突然位移，机械结构不应出现明显断裂，物体也不应在没有合理接触关系时被“隔空推动”。哪些约束已经由WorldProof内置、哪些需要用户适配，仍应以项目实际代码和后续文档为准，不能仅凭发布帖推断。

WorldProof与现有指标和任务基准并不是替代关系。 作者明确表示，它不评价任务是否成功，也不评价世界模型能否帮助规划器找到更优动作，因为这些方向已经有相应基准。它补的是中间一层：当任务失败时，究竟是世界模型在第2步漏掉了接触，还是第5步出现物体漂移，抑或只是生成画面纹理与真实视频不同。

| 评测方式 | 主要回答的问题 | 典型输出 | 优点 | 主要局限 | |---|---|---|---|---| | PSNR / SSIM | 预测画面与真值在像素或结构上有多像 | 单一分数、逐帧分数 | 计算快、易复现、便于横向统计 | 可能奖励静态预测，无法直接判断动作因果与物理正确性 | | 感知视频指标 | 预测在特征空间或人类感知上有多像 | 感知距离、视频质量分数 | 比逐像素误差更能容忍细微纹理偏移 | 视觉合理不等于动力学正确，结果受特征模型影响 | | 任务成功率 | 预测是否帮助机器人完成任务 | 成功率、回报、规划成本 | 与最终应用直接相关 | 失败原因难拆解，规划器可能掩盖或放大世界模型问题 | | WorldProof式诊断 | 预测从哪里开始偏离，并违反了什么约束 | 时间步、区域、误差类型、物理检查结果 | 更适合调试和回归测试，可定位模型短板 | 依赖真值、对齐和场景约束，不能单独代表任务能力 |

这不是一套新的“万能总分”

WorldProof目前更像调试基础设施，而不是可以直接决定模型排名的通用排行榜。 这其实是一个正确的产品选择：世界模型的输出具有多解性，尤其在随机环境中，真实录像只是未来可能性之一。模型预测出另一条同样合理的轨迹，不应该仅因像素未对齐就被判错。

物理约束也并非天然客观，错误的约束会制造新的误判。 例如布料会形变，液体会分裂，遮挡会让物体暂时消失，单目视频还会产生尺度和深度歧义。若系统把“外观尺寸稳定”当成普遍不变量，那么摄像机运动或透视变化就可能触发假警报。WorldProof能否真正通用，取决于它是否允许研究者透明地声明约束适用范围，并报告每项诊断的置信度。

64段 rollout足以展示问题，但不足以证明像素指标在所有机器人数据上都无法排名。 数据来自单类 SO-101 机械臂记录，预测长度只有6步，摄像机、动作幅度、掩码生成方式和任务分布都可能影响结果。要把“在该实验中失效”提升为普遍结论，仍需在更长时域、不同帧率、不同机器人平台和更大样本上复现。

“复制最后一帧”应当成为世界模型评测的强制基线。 这个基线几乎没有工程成本，却能快速暴露数据集是否过于静态、评测窗口是否过短，以及指标是否真正奖励变化预测。如果一个复杂模型只比复制帧高出极小幅度，甚至落后，那么首先该审查的不是模型规模，而是评测是否测到了想测的能力。

对开发者最实用的价值是回归测试

WorldProof最现实的落地场景，是进入世界模型训练和发布前的回归测试流程。 团队可以固定一批高风险 rollout，比较每次训练后“首次失效时间”是否后移、接触相关错误是否减少，以及不同摄像头上的错误是否一致。这比盯着一个平均 SSIM 更容易判断改动究竟改善了动力学，还是只让画面更锐利。

多视角一致性可能成为这类工具的重要扩展方向。 作者的实验包含3个摄像头，这意味着同一物理事件可以从不同视角观察。如果预测在正面摄像头中显示物体已经被抓起，侧面摄像头却显示物体仍留在桌面，那么即使每路视频单独看都足够逼真，联合状态也明显不成立。

诊断结果还可以反向指导数据采样。 如果模型总在遮挡解除后的第一步出错，团队可以补充更多遮挡与重现样本；如果错误集中于夹爪接触瞬间，就应提高该阶段的时间分辨率，而不是继续堆积静态背景帧。评测因此不再只是模型发布时的一张成绩单，而会直接参与下一轮数据工程。

世界模型需要“物理正确”和“任务有效”两套证据

世界模型评测未来更合理的结构，应是像素与感知质量、物理与因果一致性、任务与规划收益三层并列。 第一层保证输出可观察、可比较；第二层检查状态演化是否成立；第三层验证预测能否帮助智能体采取更好的动作。任何单层指标都不应被包装成完整智能的证明。

WorldProof的价值不在于宣布SSIM和PSNR彻底过时，而在于指出它们的适用边界。 对图像压缩、重建和确定性短时预测，像素指标仍然便宜、稳定且有参考价值；但当研究目标转向机器人交互、长期视频和动作条件预测时，0.983 SSIM可能只说明背景与结构相似，不能说明模型理解了世界。

截至2026年8月13日，WorldProof最值得持续观察的是可复现性，而不是宣传中的单次高分反例。 接下来需要看的包括：代码能否稳定复现 SO-101 结果、运动区域掩码如何构建、物理不变量如何配置、随机未来如何处理，以及诊断结论能否跨机器人和数据集成立。如果这些环节能够公开、模块化并形成社区适配，它有机会成为世界模型领域的“单元测试框架”；如果不能，它就只是一场对旧指标的有力但有限的提醒。

参考来源

• Reddit：WorldProof发布与SO-101实验说明：项目作者介绍工具目标，并披露复制最后一帧基线的SSIM、PSNR、摄像头数量与预测步数。
• GitHub：World Model基础概念介绍：用于理解世界模型在预测、推理和智能体决策中的基本作用。
• 知乎：世界模型浅调研（2026年5月）：梳理世界模型术语泛化、长期一致性、物理理解和开放世界泛化等争议。