豆包工作开始学你操作电脑

2026 年 10 月 28 日，豆包工作升级了操作电脑能力，用户现在可以把一段亲自演示的电脑操作保存为个人技能，之后只需提供本次任务的具体内容，Agent 就能按照学到的流程重复执行。

这次更新的重点不是让豆包“多点几个按钮”，而是改变桌面 Agent 学习工作流程的方式。过去，用户通常需要用文字描述每一步，或者自己搭建固定的自动化流程；现在，用户可以一边操作、一边讲解，让豆包直接从示范中学习。

豆包工作是豆包面向生产力场景推出的 Agent 产品，能够围绕用户目标拆解任务、调用工具，并持续推进包含多个步骤的工作流程。 按照官方介绍，此次升级还改善了屏幕点击精度与执行速度，不过截至 10 月 28 日，官方没有公布点击成功率、平均延迟或任务完成率等量化数据，因此“更准、更快”目前仍属于产品侧描述，尚不能视为可横向比较的性能结论。

演示一次，豆包把操作整理成技能

“录制电脑操作”是一种通过记录用户在桌面上的点击、输入、窗口切换和口头说明，让 Agent 学习任务流程的交互方式。 用户不必先把经验整理成标准操作手册，只需像教同事一样完整做一遍，并在关键节点解释“为什么这样做”以及“遇到什么情况应该换一种处理方式”。

“个人技能”是豆包工作根据用户演示整理出的可重复调用任务模板。 录制结束后，系统会把操作流程与讲解内容组织为技能；下次面对同类任务时，用户选中该技能，再告诉豆包这次要处理的文件、对象或目标，就可以省去重复解释步骤的过程。

例如，一名运营人员每周都要从内部系统导出数据、整理表格、登录内容后台，再把结果填入固定位置。传统做法是每周手动重复一次，或者请技术人员编写自动化脚本；使用新功能后，运营人员可以先演示完整流程，同时说明日期范围、文件命名方式和异常数据的处理规则，再把这套做法保存为技能。

这项能力真正节省的是“反复交代工作”的成本，而不只是鼠标点击时间。 如果一个任务本身只需要两三次点击，录制技能的意义不大；如果任务需要跨越多个页面和应用，并且每周、每天都要重复，技能复用的价值才会明显出现。

豆包工作此前已经支持把浏览器操作录成技能，此次更新则进一步强调“录制电脑操作并保存为技能”。这意味着它试图从网页内自动化走向更完整的桌面工作流，而桌面环境的难度也高得多：窗口可能被遮挡，按钮位置会变化，弹窗会突然出现，不同应用的交互逻辑也并不统一。

这不是普通的录屏，也不等同于传统宏

示范教学是一种让 Agent 从人类操作轨迹与解释中归纳任务步骤的交互范式。 它和普通录屏的区别在于，录屏主要供人回看，而 Agent 技能需要在新的任务对象、新的页面状态和新的输入内容上再次执行。

传统宏录制器通常按照固定坐标、按键顺序和时间间隔重放操作。 一旦窗口位置改变、页面增加一个弹窗，或者按钮从左侧移到右侧，宏就可能失效。桌面 Agent 的目标则是识别界面当前状态，理解“点击提交按钮”这一意图，而不是永远点击屏幕上的某个坐标。

两类方案的差异可以概括为：

| 维度 | 传统宏录制 | 传统 RPA 流程 | 豆包工作的示范技能 | |---|---|---|---| | 创建方式 | 记录鼠标和键盘动作 | 手动配置节点、条件与连接器 | 用户边操作边讲解，由 Agent 整理流程 | | 使用门槛 | 低，但容易失效 | 较高，通常需要理解流程编排 | 接近自然教学，适合非技术岗位 | | 环境适应性 | 主要依赖坐标和固定顺序 | 依赖规则、控件定位和预设分支 | 目标是结合界面理解与任务语义执行 | | 跨应用能力 | 可以重放，但稳定性有限 | 可通过连接器和桌面自动化实现 | 官方已强调跨应用操作能力 | | 异常处理 | 通常直接中断 | 需要提前配置异常分支 | 理论上可依据上下文处理，实际效果仍待验证 | | 复用方式 | 重放同一组动作 | 运行已编排流程 | 选择技能，再提供本次任务参数 | | 可审计性 | 可查看动作序列 | 流程节点相对清晰 | 取决于技能详情、执行记录和接管机制 |

豆包工作的优势是降低流程创建门槛，但它暂时不能被简单视为成熟 RPA 的替代品。 企业级 RPA 的价值不只是“会点击”，还包括权限隔离、失败重试、流程版本管理、审计日志、变量管理、异常告警和系统连接能力；豆包工作目前公开的信息主要集中在录制、复用、远程下达任务与人工接管，企业治理能力尚未得到充分披露。

这次更新也没有公开技能的底层表示形式。 现有信息无法确认豆包究竟会把演示转化为固定动作序列、自然语言步骤、视觉定位规则，还是包含条件判断的结构化工作流；同样无法确认技能能否编辑单个步骤、设置变量、查看版本差异或导出分享。这些细节将直接决定技能是一次性“快捷动作”，还是可以长期维护的生产力资产。

锁屏继续执行，让桌面 Agent 接近后台员工

锁屏执行是指用户开启授权后，豆包工作可以在 Mac 处于锁屏状态时继续推进需要操作电脑的任务。 用户可在“设置 → 工作任务模式设置”中开启“允许豆包在锁屏时工作”，随后即使人离开电脑，已经开始的任务也可以继续运行。

手机远程下达任务进一步扩大了桌面 Agent 的使用半径。 用户离开 Mac 后，可以通过手机向这台锁屏的电脑发送任务，并在手机上查看返回结果；回到电脑旁并解锁后，用户还可以随时接管执行过程。

这项能力适合耗时较长、但不值得人一直盯着的任务，例如批量整理本地资料、在多个后台之间搬运信息、处理一组重复表单，或者在下班前启动流程并稍后检查结果。它让 Mac 从必须由人坐在屏幕前操作的个人设备，变成一个可以持续执行任务的工作节点。

锁屏运行并不意味着 Agent 可以绕过 macOS 的系统权限与应用授权。 更合理的理解是，豆包在用户已经授予相应权限的会话环境中继续工作，而不是获得无限制访问能力；涉及系统确认、密码、验证码、生物识别或重新授权的步骤，仍可能要求用户介入。官方目前没有披露具体权限边界与受限场景，因此高敏感任务不应默认无人值守。

锁屏能力越实用，安全问题就越不能靠一句授权提示带过。 桌面 Agent 可能接触本地文件、浏览器登录状态、企业后台、聊天记录和剪贴板内容，而手机远程发起任务又增加了新的控制入口。真正适合生产环境的方案至少需要回答以下问题：

• 哪些应用和目录可以被技能访问，能否按技能单独授权；
• 删除文件、发送消息、提交审批等高风险动作是否需要二次确认；
• 手机端下达任务是否具备设备绑定、登录保护与异常提醒；
• 执行过程是否保留完整记录，用户能否回看 Agent 点击了什么；
• 技能是否会记录演示中的账号、客户信息或敏感字段；
• 任务失败或界面异常时，Agent 会停止、重试，还是继续猜测执行。

桌面 Agent 最难的不是会点，而是点错后怎么办

桌面 Agent 是能够观察图形界面、操作鼠标键盘，并跨应用完成任务的智能体。 与只在对话框里给建议的助手相比，桌面 Agent 会真正改变文件、提交表单、发送内容，因此一次识别错误可能产生实际后果。

点击精度和执行速度只是桌面 Agent 的基础指标，完整任务成功率才是更重要的指标。 一个包含 20 个关键步骤的流程，即使每一步成功率都达到 98%，在简单独立假设下，完整流程一次无误完成的概率也只有约 66.8%；步骤越多，局部小错误越容易累积为任务失败。

这也是官方未公布量化数据值得注意的原因。用户真正需要知道的并不是“点击变快了”，而是在窗口移动、页面改版、网络延迟、弹窗遮挡和输入格式变化的情况下，100 次任务能够成功多少次，失败后能否准确停在安全位置，以及平均需要几次人工接管。

口头讲解有机会补足纯视觉模仿缺少的业务规则。 用户在演示时可以说明“这一列为空就跳过”“金额超过某个范围先不要提交”“页面出现红色提示就停止”，这类信息仅靠观察鼠标轨迹很难可靠推断。如果豆包能把讲解转化为可执行条件，示范技能就不只是动作复制，而是把个人经验沉淀为工作流程。

口头讲解也可能引入新的歧义。 人类常用“这里”“按之前的规则”“正常情况直接提交”等模糊表达，而 Agent 未必知道这些词对应哪个控件和哪套规则。产品若没有在技能生成后展示结构化步骤并让用户确认，错误理解就可能被固化，并在每次复用时重复发生。

最适合高频、规则清楚、后果可控的任务

豆包工作的首批受益场景会是高频重复、步骤相对稳定且容易验收的桌面流程。 这类任务既能产生足够高的复用收益，又可以通过结果文件、页面状态或数据条数快速检查 Agent 是否完成正确。

较合适的场景包括：

1. 运营后台处理：跨表格、浏览器与内容系统整理和录入信息；
2. 行政事务：下载固定格式文件、归档资料、生成周期性汇总；
3. 电商日常操作：批量查看商品信息、整理异常订单、汇总反馈；
4. 研究资料整理：把多个来源的文件统一命名、分类并填写索引；
5. 个人重复工作：定期收集账单、整理下载目录、更新工作台账。

高风险、不可逆和强合规任务暂时不适合完全无人值守。 资金支付、删除原始文件、对外发布内容、批量发送消息、修改生产环境配置以及提交法律或财务文件，都应保留人工确认环节。桌面 Agent 的能力越强，默认权限就越应该保守。

豆包正在把聊天入口变成工作执行层

豆包工作的产品路线已经从对话辅助扩展到任务执行与个人工作记忆。 经过此前多次更新，它已陆续加入从 ChatGPT 等产品导入对话与记忆、画布、多 Agents 并行以及 Mac 操作电脑等能力，此次个人技能则把这些能力进一步串到可复用流程上。

多 Agents 并行解决的是“同时推进多个子任务”，个人技能解决的是“按我的方法重复做事”。 前者追求吞吐量，后者强调个性化流程沉淀；两者结合后，一个任务可以被拆分给多个 Agent，同时调用用户过去教过的技能。这比单纯增加模型回答速度更接近真实生产力系统。

豆包工作的差异化方向不是让 Agent 看起来更像人，而是让普通用户更容易把经验交给 Agent。 传统自动化要求人先理解机器的规则，再把工作翻译成节点和条件；示范教学则试图让机器适应人的工作方式。这个交互方向是对的，因为多数业务人员有流程经验，却没有时间学习自动化编排工具。

不过，示范教学能否成为稳定功能，最终取决于三个结果：第一次学习是否准确、环境变化后是否仍能完成、出错时是否可控。如果这三点没有公开、可验证的数据支撑，再自然的教学方式也只能降低上手成本，无法保证生产级可靠性。

结论：这是比“多一个按钮”更重要的更新

豆包工作此次升级的核心价值，是把人的一次操作转化为 Agent 可以重复使用的个人技能。 它缩短了从“我知道怎么做”到“Agent 能替我做”的路径，也让桌面 Agent 从临时接受指令，开始具备沉淀个人工作方法的能力。

这项功能目前最值得肯定的是交互设计，而最需要观察的是执行可靠性与权限治理。 录制、讲解、生成技能、锁屏执行和手机查看结果已经形成相对完整的使用闭环，但官方仍需补充任务成功率、技能编辑能力、执行日志、敏感操作确认和权限隔离等信息。

如果后续豆包能够让用户清楚看到技能学到了什么、允许修改单个步骤，并为危险动作设置强制确认，那么“教一遍，下次自己做”会成为桌面 Agent 最实用的落地方式之一。反之，如果技能仍高度依赖界面位置与理想环境，它就更像一个披着自然语言外衣的宏录制器。

参考来源

• IT之家：豆包工作功能上新，支持将“录制电脑操作”保存为技能——报道豆包工作 2026 年 10 月 28 日更新内容，包括个人技能、Mac 锁屏执行、手机下达任务及此前产品能力。