商汤开源 SenseNova-Vision：把视觉大模型的"缝合怪"时代终结了

7月13日，商汤把日日新 SenseNova-Vision 甩了出来——理解生成统一视觉大模型，模型、数据、训练配方一次性全部开源。别急着划走，这不是又一个"多任务打包"的项目。真正值得关注的点在于：过去两年整个视觉大模型圈子最尴尬的那件事——所谓"统一视觉"其实是把检测、分割、深度预测几个专家模型套进一个壳里——这次商汤是真的把它拆了重做。

先说结论：这次不是"打包"，是"原生"

看惯了发布会 PPT 的人对"统一"两个字应该已经免疫了。过去业内所谓的统一视觉模型，本质是路由器加一堆专家网络：来一张图，先分类识别任务类型，然后派给对应的 head 去处理。听着挺好，但你把它拆开看，检测模型还是检测模型，分割模型还是分割模型，只是共享了一个 backbone 而已。这种模式的天花板早就摸到了——每个任务的表示空间是割裂的，模型没法在任务之间做真正的知识迁移。

SenseNova-Vision 的做法是让视觉成为通用基础模型的原生能力。目标检测、图像分割、深度预测、3D 重建这些经典任务，全部在同一套表征空间里完成。这个思路其实商汤在5月份放出 SenseNova U1 的时候就埋下了种子——那个 NEO-Unify 架构直接把视觉编码器（VE）和 VAE 全砍了，用两层卷积加 GELU 把图像切成 token 就完事。当时业内主要在讨论理解+生成的统一，现在这套路子被延伸到了纯视觉任务的统一上，逻辑是通的。

四大领域全部"以一敌多"，这个成绩单不太寻常

商汤在评测部分做得很直接：不藏着掖着，直接跟每个领域的专用"专家模型"对打。

结构化视觉理解这一块，SenseNova-Vision 在目标检测、指代检测（Referring）、OCR、关键点定位上全面领先同类型通用模型。这个不算特别惊喜，毕竟大模型做检测的效果本来就在追上专家模型。真正让人挑眉的是稠密小目标检测和长尾类别识别——这两个场景是专家模型的传统优势区，通用模型往往一败涂地。原因很直接：小目标需要极强的空间先验，长尾需要海量标注数据的记忆能力，这两个都是把网络切成多个 head 之后很容易做好、但用统一表征去啃反而费劲的事。

稠密几何预测这块的对手更硬核——深度估计有 Depth Anything V2 这种妖怪级的选手，表面法向估计也各有各的 SOTA 方法。SenseNova-Vision 号称达到了几何专用模型水准，而且室内外多场景稳定。稳定性这个词在几何任务上分量很重，因为几何模型最怕跨域泛化——训练集见过室内的模型放到室外森林里往往直接崩溃。

分割能力这里有个真正的亮点：推理分割（Reasoning Segmentation）和对话式分割（GCG Segmentation）。传统的 SAM 系列模型可以做交互式分割，但你没法用一段话让它去理解"把图里那个正在追猫的狗分出来"这种需要推理的指令。SenseNova-Vision 因为骨子里就是一个多模态模型，这类任务是它的天然主场。

多视角 3D 几何——单模型就能做多视角点云重建加相机位姿估计。这个是过去 DUSt3R、MASt3R 那条路线在啃的问题，能在通用视觉框架下达到这条路线的领先水平，工程上不算容易。

对标 Vision Banana：代际优势不是随便说的

发布材料里点名了 Google DeepMind 的 Vision Banana——就是那个用"生成即理解"路线证明了通用视觉可行性的模型。商汤的说法是"全面的代际优势"，落到实处有两点：

第一，Vision Banana 在核心指标上被 SenseNova-Vision 反超。这个如果单独看，业内每个月都能听到十几个类似说法，参考价值有限。

第二点才是真的分量——任务覆盖差了一个身位。Vision Banana 只能应对四大核心板块中的"两类"问题，而 SenseNova-Vision 是结构化理解、稠密几何、全景分割、多视角 3D 一网打尽。这个才是"代际"的定义：不是我某个 benchmark 高你 2 分，而是你能做的我能做，你不能做的我也能做。

对标语义导向的模型（比如 Youtu-VL）就更简单粗暴了：细节任务上全面领先。这个不奇怪，语义模型走的是先抽象再理解的路子，对像素级细节的把控天然吃亏。

5000万条视觉指令语料库，这个东西的分量比模型还重

发布里最容易被忽略的一句话：同步开源包含 5000 万条样本的视觉指令语料库 S（后面的名字被截断了，估计是 SenseVerse 或类似的命名）。

做过多模态训练的人都知道数据的稀缺性有多离谱。COCO 才十几万张，Objects365 两百万，LVIS 十几万。搞 SFT 阶段的多模态指令数据，公开可用的加起来撑死也就几百万级别，而且大多集中在 VQA 这种简单任务上。5000 万条覆盖检测、分割、深度、3D 的视觉指令数据全面开源——这个东西的价值可能不亚于模型本身。它意味着任何一个想要做统一视觉大模型的团队，从今天开始都不用再从零收集数据了。

换句话说，商汤这次开源的不是一个模型，是一套完整的复现路径。

技术侧的一些思考

把这次的 SenseNova-Vision 和 5 月份的 SenseNova U1 放在一起看，商汤的技术路线图就很清楚了：

• U1 系列解决的是理解和生成在多模态模型里的统一——去掉 VE 和 VAE，用 Encoder-free 设计打通语言和视觉的表征鸿沟
• Vision 系列解决的是视觉子任务在统一模型内的原生化——不再靠外挂 head，而是让所有视觉任务都从统一表征里长出来

这两条线合并到最后是什么？是一个真正意义上的通用视觉大脑。这也解释了为什么商汤反复强调"具身智能"和"机器人"——一个能同时做检测、分割、深度、3D、图文理解和生成的模型，天生就是机器人感知系统的最佳形态。

当然，泼点冷水。开源发布之后的实际战斗力还得等社区跑过才算数。几个悬念：

1. 推理成本。统一模型的通病就是推理速度比不上专用模型。检测任务本来 YOLO 系列几毫秒就能出结果，如果用 SenseNova-Vision 需要几百毫秒，那对实时性要求高的场景就没意义了
2. 微调难度。原生统一架构在下游任务微调时会不会牵一发动全身？改一个任务的行为，别的任务性能是不是会掉？这个稳定性问题在原生统一模型上历来是个大坑
3. 长尾泛化。评测集里表现好不代表真实业务场景能扛住。工业质检、医学影像这些垂直领域的长尾分布，是骡子是马还得拉出来遛

开源策略与生态影响

模型和数据全面开源这件事，对国内视觉大模型格局是有实际冲击力的。目前视觉基础模型这一层，海外阵营是 Google（Vision Banana、Gemini 系列）、Meta（DINO、SAM 系列）在推动，国内的头部力量集中在阿里的通义、字节的 Seed、以及商汤这次的日日新。SenseNova-Vision 这次的开源力度——模型、权重、5000 万条数据、技术报告全给——基本上是把话说到位了：接下来看社区能不能接住。

目前 SenseNova-Vision 应该会陆续上架 Hugging Face 和商汤自己的 GitHub 组织。对开发者来说，最快的验证路径就是拉下来在自己的场景里跑一下，看看小目标检测和推理分割是不是真的到位。

OpenAI Hub 这边已经在跟进对接商汤日日新系列的 API 通道，后续 SenseNova-Vision 的推理服务预计会通过统一格式接入，一个 Key 就能同时调用 GPT、Claude、Gemini 和商汤的模型，用来对比不同视觉模型在同一任务上的差异会方便一些。

写在最后

视觉大模型这个赛道，2024 年上半年大家还在争"要不要用 CLIP"、"要不要冻结视觉编码器"这种问题，到 2026 年 7 月已经在讨论"要不要把 VE 和 VAE 全砍掉"了。变化速度惊人。SenseNova-Vision 这次的核心贡献不在于某个 benchmark 又刷高了多少分——那种东西每周都在发生——而在于它给出了一个可行的、可复现的、彻底的原生统一路线。如果这条路走得通，未来一到两年内，视觉圈里那种"检测用 A、分割用 B、深度用 C"的工程模式，可能真的要被端到端的通用模型替代了。

拆开来看是一个模型的开源，往回看是一次范式的迭代。

参考来源

• 商汤发布并开源 SenseNova-Vision 理解生成统一视觉大模型，能力超越 Vision Banana - IT之家 — 本次 SenseNova-Vision 发布的原始报道，包含详细评测数据
• 商汤发布多模态"效率怪兽"，开源即SOTA - 知乎 — SenseNova U1 系列的技术拆解，可以帮助理解商汤统一架构的演进脉络
• Hugging Face 模型页（huggingface.co/sensenova）— SenseNova 系列模型权重与技术报告的官方开源发布位置