openJiuwen推出多模态Skill范式Skill-Omni，把Agent的经验从纯文本升级为图文经验库，让Skill"看得见"，网页和视频里的视觉知识首次能被沉淀复用。

Skill也有说明书插图了：openJiuwen 首发多模态 Skill 范式 Skill-Omni

openJiuwen 昨天甩出了 Skill-Omni，一句话概括：Agent 的 Skill 库从今天起不再是纯文本说明书，而是带插图和参考图的图文经验库。

这事听起来抽象，但对做 Agent 的人来说是个信号——过去一年整个圈子都在卷"让 Agent 越用越聪明"，Anthropic 的 Skill、英伟达前不久开源的机器人技能库、AReaL 2.0 那套自演进 RL 基础设施，大家都是在同一个方向上使劲：把一次性的任务执行沉淀成可复用的长期经验。openJiuwen 这次的差异化很直接——别人还在把经验写成 markdown，他们已经开始给经验配图了。

为什么纯文本 Skill 不够用

做过浏览器 Agent 或者 GUI Agent 的同学应该都踩过这个坑：你让模型总结一份操作经验，它写得头头是道，"点击右上角的设置按钮，进入账户管理页面，找到 API Keys 选项"——听起来完美，实际执行时 Agent 找不到那个按钮，因为页面改版了，或者"右上角"在不同分辨率下压根不是同一个位置。

更麻烦的是视频类任务。你想让 Agent 学会剪辑软件里的某个骚操作，或者复现一段游戏攻略，纯文字描述根本传递不了那种"看一眼就懂"的空间关系。人类学新东西一半靠图一半靠字，凭什么 Agent 只能读字。

Skill-Omni 的思路就是把这层视觉信息补回来。按 openJiuwen 官方的说法，它能把网页和视频里的视觉知识提取、结构化，然后作为 Skill 的一部分和文字描述一起存进经验库。Agent 下次执行类似任务时，不光有步骤说明，还有参考图可以对齐。

从"读得懂"到"看得见"

官方那句 slogan 其实挺准确：从"读得懂"升级到"看得见"。

拆开看，Skill-Omni 干的事情包括几层：

视觉知识抽取：从网页截图、视频帧里识别关键 UI 元素、操作路径、状态变化
经验结构化：把提取到的图文对齐后组织成 Skill 条目，包含前置条件、执行步骤、参考图、异常处理
多模态检索：Agent 遇到新任务时，可以按视觉相似度而不只是文本相似度去匹配历史经验
持续演化：每次执行完任务，把新的截图、新的路径反哺进 Skill 库

最后一点很关键。openJiuwen 一直在讲 AgentOS 里的"自演进"——工具和 Skill 都要能实时迭代。Skill-Omni 补齐的是多模态那一块，之前的自演进主要发生在文本层面，现在视觉经验也进了这个循环。

和竞品横向比一下

把最近半年这波 Skill 相关工作摆一起：

| 项目 | 定位 | 模态 | 演化机制 | |------|------|------|----------| | Anthropic Skill | Claude 的可复用能力单元 | 文本为主 | 静态注册 | | 英伟达机器人技能库 | 具身场景的动作原语 | 动作+视觉 | 需要仿真训练 | | AReaL 2.0 | 自演进 Agent 的 RL 基座 | 文本 | 在线 RL | | Skill-Omni | 通用 Agent 的图文经验库 | 图文多模态 | 任务执行中自动沉淀 |

Skill-Omni 的位置比较特殊——它不做底层训练框架，也不局限于具身场景，卡的是"通用 Agent 日常执行任务时怎么把视觉经验沉淀下来"这个环节。这个位置其实之前是空的，Anthropic 的 Skill 太文本化，英伟达那套又太具身。

对做浏览器 Agent、办公 Agent、GUI 自动化的团队来说，Skill-Omni 这套范式可能比另外几个更对口。

Physical Skill 是下一步

openJiuwen 官方还透露了下一步计划：面向 Physical AI 场景的 Physical Skill。

这个方向不难猜，具身智能今年整体在往"技能库化"走。英伟达开源机器人技能库的时候，Jim Fan 那句"范式变了"就是这个意思——不再是端到端训一个大模型解决所有任务，而是把可复用的动作、感知、规划封装成 Skill，让 Agent 按需组合。李飞飞团队最近那篇 Real2Sim 也在讲同一件事，数据不够就把真实场景反向生成到仿真里，本质还是攒经验。

Skill-Omni 从图文起步，往 Physical Skill 演进是很自然的路径。真正的问题在于：图文的经验库还能靠 VLM 直接理解，物理动作的 Skill 库怎么存、怎么检索、怎么在不同机器人本体之间迁移，这套还没有标准答案。

对开发者意味着什么

先说不好的：Skill-Omni 目前更像是 openJiuwen 自家 AgentOS 里的一个能力模块，没看到独立的 SDK 或者开箱即用的接入方式。想直接拿来用还得等后续动作。

再说好的：范式本身可以借鉴。如果你正在自建 Agent 系统，尤其是需要处理网页、视频、GUI 的场景，可以参考 Skill-Omni 的组织方式，把经验库从纯 markdown 改造成图文结构。技术栈也不复杂，一个能做视觉理解的 MLLM，加一套带 embedding 的多模态向量库，再加一个从任务 trace 里抽取图文对的 pipeline，基本就能跑起来。

几个可以直接落地的点：

Skill 条目里加截图字段：每次成功执行的关键节点截图存下来，下次做类似任务时 few-shot 进 prompt
多模态检索：不要只用文本 embedding 检索历史 Skill，把视觉相似度也算上，尤其是 UI 类任务
失败经验也要存：Skill 库不该只有"怎么做对"，也要有"哪些坑长这样"的反面样本，配图更直观

一点判断

Skill-Omni 这个东西单独看不算革命，但它踩在了一个正确的方向上。过去两年模型能力涨得很快，Agent 侧的短板越来越明显地暴露在"经验积累"这一环——模型每次都从零开始理解任务，用完就扔，这肯定是不可持续的。整个行业现在都在补这一课，Anthropic、英伟达、openJiuwen、还有 AReaL 那波人，路径不同但目标一致。

谁能把 Skill 这层做成事实标准，谁就掌握了 Agent 生态里一个非常关键的入口。openJiuwen 这次抢先把多模态那面旗插上了，接下来看落地能推多快、开放程度有多高。如果只停留在自家 AgentOS 内部，影响力就有限；如果能做成一套开放的 Skill 描述规范，那就是另一个故事了。

继续观察。