CausalVLBench拷问视觉因果推理：大模型看见了，不等于理解了

CausalVLBench 最近在机器学习社区重新引发关注，这是一套专门评测大型视觉语言模型视觉因果推理能力的基准。论文已被 EMNLP 2025 Main 接收，而截至 2026 年 8 月 2 日，围绕该工作的讨论仍在继续：当多模态模型已经能识图、读表、解题甚至操作电脑，研究者开始追问一个更难的问题——模型到底理解了画面中的因果关系，还是只是在复述训练数据里最常见的视觉关联？

这不是换一个题库再跑一次分数。CausalVLBench 试图把视觉理解中的“相关”与“因果”拆开，系统检查大型视觉语言模型（Large Vision-Language Models，简称 LVLM）能否回答三类更接近真实决策的问题：什么导致了眼前的结果，改变某个条件后结果会怎样，以及如果过去没有发生某件事，当前画面是否仍会出现。

答案直接关系到多模态模型能不能从“会描述图片的助手”，走向可用于医疗、自动驾驶、机器人和科学研究的决策系统。

视觉因果推理，不是给图片配一段合理解释

**视觉因果推理是根据图像中的实体、状态与关系，判断事件成因，并推演干预或反事实条件下结果变化的能力。**它要求模型回答的不只是“画面里有什么”，而是“为什么会这样”和“换一个条件会怎样”。

例如，一张照片里同时出现湿漉漉的道路、撑伞的行人和阴沉的天空，模型很容易说“正在下雨”。但这只能证明它识别出高频共现模式。真正的因果问题是：路面变湿是降雨造成的，还是洒水车刚刚经过？如果天空放晴但洒水车仍在工作，路面是否还会湿？如果行人没有撑伞，能否据此推断没有下雨？

这三问分别在考察因果归因、干预推理和反事实推理。相关性告诉模型“雨伞和下雨经常同时出现”，因果推理则要求它理解“撑伞不会导致下雨”，也不能把缺少雨伞当成没有降雨的充分证据。

**大型视觉语言模型是同时处理图像与自然语言、并以文本或其他模态生成回答的基础模型。**现有 LVLM 在图像描述、视觉问答和文档理解上的进步很快，但这些能力可能大量依赖对象识别、语言先验与数据集捷径。模型看到厨师、案板和切开的蔬菜后，补出“厨师用刀切菜”并不困难；如果图片里的刀被遮挡，模型究竟是根据可见证据推断，还是按照常识把缺失情节补齐，传统准确率通常分辨不出来。

CausalVLBench 的意义就在这里：它不满足于检查答案是否听起来合理，而是把问题设计成能够暴露“看图推因果”与“凭常识续写”之间差异的测试。

为什么现有视觉基准还不够

**传统视觉问答基准主要衡量模型能否从图像中定位事实并生成正确答案，而不一定检验答案背后的因果方向。**模型只要认出对象、读取文字或调用世界知识，就可能取得不错成绩。

MMMU 一类综合基准覆盖多个学科，适合衡量多模态知识与解题能力；RBench-V 关注交错式视觉—文本思维链，要求模型通过绘图、标记或轨迹等视觉输出参与推理；CaLM 则从纯语言或结构化任务出发，系统检查语言模型的因果发现、关联、干预和反事实能力。CausalVLBench 补上的，是“视觉证据”和“因果推演”交叉处的空白。

| 基准 | 主要输入与输出 | 核心评测目标 | 因果推理覆盖 | 与 CausalVLBench 的区别 | |---|---|---|---|---| | CausalVLBench | 图像与文本问题，输出答案或解释 | 视觉场景中的因果判断、干预与反事实推演 | 核心能力 | 专门追问图像证据中的因果关系 | | CaLM | 以语言和结构化因果问题为主 | 因果发现、关联、干预、反事实 | 核心能力 | 规模超过 12 万道中英文题，但重点不是视觉场景 | | RBench-V | 视觉与文本输入，强调交错式多模态输出 | 模型能否“画图思考”、标记和生成视觉推理过程 | 部分相关 | 重点是多模态思维链及视觉输出，不专门隔离因果能力 | | MMMU | 多学科图片、图表与题目，主要输出文本答案 | 专业知识和综合多模态推理 | 非专项目标 | 覆盖面更广，但难以单独诊断视觉因果错误 |

这几套基准不是互相替代，而是在测不同层级的能力。MMMU 更像综合考试，RBench-V 检查草稿纸上的推理过程，CaLM 检查因果逻辑基础，CausalVLBench 则把模型带进真实画面，追问它能否从可见线索建立一条经得起改动的因果链。

**视觉因果基准最重要的作用是减少排行榜的“能力混叠”。**如果一道题既需要识别图像、调用常识、理解措辞又需要因果推演，答错时很难知道问题出在哪；答对也无法证明模型真正掌握因果关系。专门基准通过控制任务与干扰因素，把这种混叠拆开，帮助研究者定位模型是在感知阶段、关系建模阶段，还是反事实推演阶段失败。

真正难点，是不让模型靠语言先验蒙对

**语言先验是模型不充分观察图像，仅凭问题措辞与训练语料中的高频搭配预测答案的倾向。**它是视觉因果评测最需要防范的捷径。

假设问题是“杯子为什么碎了”，语言模型很可能直接回答“因为掉到地上”，即使图片只显示碎杯子，完全没有展示掉落过程。这个回答符合常识，却不一定得到图像支持。若基准把它判为正确，测到的可能是常识补全能力，而不是视觉因果推理。

干预问题会进一步拉开差距。干预不是继续观察同一系统，而是主动改变其中一个变量，再判断结果。例如把“有人推倒杯子”改为“杯子被固定在桌面”，模型需要抑制原先的事件脚本，重新推演杯子是否还会坠落。会描述原图的模型，不一定能稳定处理这种结构变化。

反事实问题更难。反事实推理是基于已经发生的事实，设想某个关键条件没有发生时可能出现的替代结果。它不是随意编故事，而要尽量保持其他条件不变，只修改被指定的因素。比如“如果驾驶员更早踩下刹车，碰撞是否仍会发生”，模型必须同时理解车辆位置、运动方向、距离和制动影响，不能只套用“刹车可以避免事故”的语言模板。

这也解释了为什么单纯要求模型输出更长的思维链未必有效。语言更流畅、解释更完整，并不等于因果方向更正确；一个模型完全可以先猜中常见答案，再生成一段看似严密的理由。CausalVLBench 更值得关注的地方，是它把这种“解释得像”与“推演得对”的差别摆到台面上。

它测到的，可能是四种能力的乘积

**视觉因果推理并非单一技能，而是感知、结构建模、世界知识和条件推演共同作用的结果。**任何一环出错，最终答案都可能失败。

第一层是视觉感知。模型要先认清参与事件的对象、动作、空间位置和状态变化。连杯子是否悬空、车辆是否正在转向都判断错误，后面的因果解释自然没有意义。

第二层是事件结构。模型需要区分原因、结果、共同原因和伴随现象。消防车与火灾经常同时出现，但消防车通常不是火灾原因；医院与疾病高度相关，但进入医院不会导致患者生病。视觉画面里存在大量这种容易被共现统计误导的关系。

第三层是世界模型。静态图片往往只截取事件链的一帧，模型必须调用关于物理规律、社会行为和对象功能的知识补足不可见环节。问题在于，补足不能越过证据边界：知道玻璃易碎是合理先验，断言画面外某个人故意摔杯子则可能是无依据编造。

第四层是干预与反事实计算。模型要在内部替换某个条件，同时维持其余场景设定稳定。当前生成式模型最容易在这里发生“场景漂移”：用户只要求改变天气，模型却顺手改变人物、道路和时间，最终回答的已经不是原问题。

因此，CausalVLBench 的分数不能简单理解为模型拥有多少“因果智能”。它更像一次压力测试：在视觉输入不完整、语言先验很强、事件链没有全部展示的情况下，模型能否把多个能力可靠地串起来。

对模型厂商而言，低分比高分更有价值

**诊断型基准的价值不只在排名，而在于揭示模型失败发生在哪一种因果操作上。**如果所有题目最后只汇总成一个总分，研究者很容易再次陷入“谁高 1 分谁更强”的竞赛，却忽略不同错误对真实产品的影响完全不同。

视觉归因错误会让模型误读事故或设备故障原因；干预错误会让智能助手给出无效操作建议；反事实错误则会影响复盘、风险评估和决策解释。对于只做图片检索的产品，这些缺陷可能不致命；对于驾驶辅助、医学影像和机器人系统，它们就是上线门槛。

更合理的评测报告至少应该分开呈现以下维度：

1. 视觉证据依赖度：遮掉关键区域或只保留文本问题后，模型答案是否仍然不变。
2. 因果方向稳定性：把原因与结果调换、加入共同原因时，模型是否继续依赖表面共现。
3. 干预一致性：改变单一变量后，模型能否只更新相关结果，而不是重写整个场景。
4. 反事实最小改动：模型是否遵守“其他条件保持不变”的约束。
5. 解释忠实度：给出的理由是否对应实际视觉证据，而非事后编造。

这些分项也比单一准确率更能指导训练。若模型主要输在对象定位，可以补视觉编码与细粒度标注；若主要输在反事实一致性，则需要在数据、推理架构或训练目标上加入明确的结构约束。把所有错误笼统归为“推理不够强”，对研发几乎没有帮助。

CausalVLBench与CaLM、RBench-V构成了三条路线

**当前大模型推理评测正在从答案正确性，转向因果结构、推理过程与多模态表达三个方向。**CausalVLBench、CaLM 和 RBench-V 恰好代表了三种互补路线。

CaLM 侧重建立系统的因果能力分类。公开资料显示，CaLM 构建了超过 12 万道中英文题目，评测 28 个主流大模型，按照因果发现、关联、干预和反事实四个层次组织任务，并覆盖 21 种因果场景、9 种评估方式和 7 类评估标准。它的优点是框架完整、便于做大规模受控实验，局限是许多任务仍以文本或抽象结构为主。

RBench-V 侧重模型是否能把视觉当成思考介质。它不只让模型读图，还要求模型通过绘制几何图形、标记关系或描绘迷宫路径等方式产生视觉推理过程。其关键问题是：下一代多模态模型能否像人一样画辅助线、做标注，而不是把所有中间状态都压进语言序列。

CausalVLBench 则侧重现实视觉信息中的因果关系。它把因果评测从文本命题和因果图推进到图像场景，面对的噪声也更大：对象可能被遮挡，事件只呈现一瞬间，真实原因可能不在画面内，同一结果还可能对应多个合理解释。

这三条路线最终可能汇合。一个可靠的多模态智能体既要读懂视觉因果结构，也要在必要时生成图示来外化推理，还要在语言层面进行严格的干预和反事实计算。任何一块缺失，模型都更像善于回答测试题的聊天机器人，而不是能在环境中作出可靠判断的智能系统。

这套基准有用，但不能把静态图像当成因果真相

**CausalVLBench 的最大局限，是单张或有限视觉观测通常不足以唯一确定真实因果关系。**因果不是画面里可直接读取的像素属性，而是关于事件生成机制的判断。

看到地面湿了，降雨、洒水、漏水都可能成立；看到一个人跌倒，碰撞、失衡、路面湿滑或突发疾病都可能是原因。若数据集只提供唯一标准答案，却没有充分上下文，模型给出另一个合理解释时就可能被误判。反过来，如果答案来自图片标题或常识模板，模型也可能通过数据记忆取得虚高成绩。

因此，这类基准需要公开说明数据来源、标注协议、歧义处理、训练集污染检查和评分方式。尤其是自由文本解释，自动评分模型本身也可能带有偏好：它可能奖励措辞相似，而不是因果结构正确；也可能把保守的“不足以判断”错判为能力不足。

更理想的下一步，是把静态图像、前后视频片段、可交互环境和显式干预结合起来。视频能提供事件顺序，但“先发生”仍不等于“导致”；交互环境允许模型真正执行动作并观察结果，更接近 Pearl 因果阶梯中的干预；同一场景的成对反事实样本，则能检查模型是否只对被改变变量作出局部更新。

换句话说，CausalVLBench 是起点，而不是视觉因果推理的终局标准。

对开发者最现实的提醒：别把会看图等同于会决策

**CausalVLBench 给产品团队最直接的警告，是视觉问答准确率不能替代因果可靠性测试。**一个模型可以准确识别损坏的零件，却错误判断损坏原因；可以描述交通事故现场，却不能可靠评估“如果改变车速会怎样”。

如果产品只需要生成图片标题，追求视觉因果能力的收益有限；如果产品会给出诊断、建议或自动执行动作，就应加入专门的反事实与干预测试。测试集不能只收集正常样例，还要准备视觉上相似但原因不同、结果相同但机制不同，以及改变一个变量后结论必须翻转的对照样例。

产品界面也应允许模型表达不确定性。面对证据不足的图片，“无法仅凭当前画面确定原因”往往比编出一个完整故事更专业。现在很多多模态产品把回答流畅度当成体验指标，却没有给谨慎回答足够奖励，这会反向鼓励模型在因果问题上过度自信。

我们的判断是，CausalVLBench 值得关注，但它的价值不在于宣布某个模型“具备因果推理”。它真正做对的，是把多模态模型长期被掩盖的问题变成可测对象：模型究竟看到了决定性证据，还是利用统计共现说出最像答案的话。

当视觉模型开始进入机器人、驾驶、医疗与科研流程，这个区别不再是学术争论。看见一张图并描述它，是生成任务；根据它改变现实，是决策任务。CausalVLBench 正在提醒行业，两者之间还有一条很长的因果鸿沟。

参考来源

• Reddit：CausalVLBench 机器学习社区讨论：近期围绕论文发布与视觉因果推理评测的讨论入口。