Gemini开始接管Mac

Google为Gemini macOS应用加入Computer Use,可在后台操作本地文件、桌面应用和网页。真正的看点不是自动点击,而是消费级AI Agent开始获得跨应用执行权。
Gemini开始接管Mac:AI Agent正式伸手进入本地应用
Google在11月19日为Gemini macOS应用上线了Computer Use功能。用户只需要描述目标,Gemini就能在后台操作本地文件、桌面应用和网页,完成点击、输入、菜单选择、文件整理、表单填写以及跨应用信息搬运等多步骤任务。(blog.google)
Computer Use是一种让AI通过识别屏幕内容、操作鼠标键盘和调用系统界面,像人一样使用计算机的Agent能力。 它与传统聊天助手的关键区别是:聊天模型告诉你下一步怎么做,Computer Use则直接替你把下一步做掉。
这次更新意味着,Gemini不再只是悬浮在Mac桌面上的问答框,而是获得了真正的执行权限。它可以从PDF中读取地址和尺寸,再打开物流网站填写报价表;也可以读取本地照片、查询二手价格、整理商品信息,并在交易平台中生成待发布的商品页面。

它能做什么:从回答问题变成完成工作
Gemini此次新增的能力覆盖本地文件、原生应用和网页三个环境,而不是只在浏览器沙盒中运行。Google给出的典型场景包括批量处理照片、填写复杂表单、从在线数据面板提取指标并制作演示文稿,以及批量整理二手商品信息。(blog.google)
跨应用工作流是这次更新最重要的产品变化。 过去的AI工具通常只能读取用户主动上传的文件,或者通过预先配置的连接器访问少数服务;现在,Gemini可以从一个应用读取信息,再把结果输入另一个应用。
例如,一项报销任务可能包含以下步骤:
- 在Downloads文件夹中找到最近一个月的发票;
- 打开PDF并提取商户、日期、金额和税费;
- 启动公司的费用管理软件;
- 填写对应字段并上传附件;
- 在最终提交前请求用户确认。
这类流程并不需要某个报销软件专门为Gemini开发接口,因为Agent可以直接理解图形界面。不过,使用图形界面也意味着它的稳定性会受到窗口布局、加载速度、弹窗和界面改版影响,可靠性通常不如结构化API。
Google还允许Gemini在独立的后台虚拟窗口中执行任务。用户可以在聊天界面中查看实时预览,但主屏幕和物理鼠标不会被Agent持续占用,因此理论上可以一边让Gemini整理文件,一边继续写文档或参加视频会议。(blog.google)
这套设计比直接抢占用户光标更实用。早期桌面Agent经常出现一个尴尬问题:AI执行任务时,用户几乎不能碰电脑,否则鼠标位置、键盘焦点和窗口层级都可能改变。Gemini把Agent工作区隔离到后台,相当于在同一台Mac里提供了一块AI专用屏幕。
不是无限权限:应用访问可以逐个控制
应用权限控制是Gemini Computer Use限制Agent行动范围的核心机制。 用户可以建立允许列表和阻止列表,也可以在Gemini首次打开某个应用时选择拒绝、仅允许一次或始终允许。(support.google.com)
启用Computer Use需要授予macOS辅助功能权限以及屏幕与系统音频录制权限。前者让Gemini能够点击、输入和操作菜单,后者让模型能够观察界面状态并判断操作结果。
Google目前提供了几层人工控制:
- 用户可以指定Gemini能够访问哪些应用;
- 聊天窗口会显示Agent的实时操作画面;
- 用户可以随时暂停或终止任务;
- 发送文件、永久删除数据等关键操作需要确认;
- Gemini可以在修改文件前创建按需备份。
文件备份不是万能保险。Google的帮助文档显示,任务创建的部分临时备份会在开始新任务或24小时后删除;某些第三方应用执行的操作也可能无法恢复。因此,把“允许访问”理解成“允许观察”是不准确的——一旦开放权限,Gemini可能同时拥有读取、编辑、移动、分享和删除数据的能力。(support.google.com)
首批只面向美国英语用户
Gemini Computer Use目前是一个受地区、硬件、账户和订阅限制的渐进式发布功能。 Google表示,它从11月19日起面向美国英语用户推出,要求使用Apple Silicon Mac和macOS Sequoia 15.0或更高版本,并使用个人Google账户。(blog.google)
Google官方发布文章列出的订阅范围包括Google AI Plus、Pro和Ultra,但当前帮助页面部分条目只写明Pro与Ultra,这意味着具体资格可能随灰度批次、账户状态和产品页面更新而变化。企业和学校账户暂时也不能直接使用完整的Mac应用控制能力。(blog.google)
| 项目 | 当前要求或状态 | |---|---| | 发布时间 | 2026年11月19日开始推送 | | 地区 | 美国 | | 语言 | 英语 | | 系统 | macOS Sequoia 15.0及以上 | | 硬件 | Apple Silicon Mac | | 账户 | 18岁以上的个人Google账户 | | 订阅 | Google AI付费方案,资格可能按批次开放 | | 执行环境 | 独立后台窗口,聊天内提供实时预览 | | 权限 | 可按应用允许、临时允许或阻止 |
Google没有公布Computer Use的单任务成功率、平均完成时间、误操作率或具体底层模型,也没有给出标准桌面操作基准测试成绩。对于一个拥有本地文件修改权的产品,这些数据比演示视频更重要,至少目前还需要等待真实用户测试。
与ChatGPT、Claude和开源Agent相比,Gemini并不算最早
桌面Agent已经成为头部AI公司争夺的新入口,Gemini的优势不是首发,而是Google服务和消费级桌面的组合。 OpenAI在2026年推出的新ChatGPT桌面应用已经整合Chat、Work和Codex,其中Work可以在获得许可后访问本地文件和桌面应用;Anthropic则通过Computer Use、Claude Desktop扩展和MCP连接本地工具;Goose等开源Agent更早允许用户组合文件系统、终端和浏览器能力。(help.openai.com)
| 产品 | 主要执行方式 | 本地应用能力 | 主要优势 | 主要限制 | |---|---|---|---|---| | Gemini for macOS | 视觉理解、系统辅助功能、后台虚拟屏幕 | 可跨本地文件、桌面应用和网页操作 | 与Gemini任务、Chrome及Google生态衔接紧密 | 首发仅限美国英语及部分付费用户 | | ChatGPT Work | 桌面应用、文件、内置浏览器和插件 | 支持本地文件及桌面工作流 | 文档、表格、演示和研究任务整合度高 | 不同方案的功能和额度存在差异 | | Claude Desktop | 扩展、MCP及开发者Computer Use | 更依赖扩展或开发者配置 | MCP生态成熟,工具边界清晰 | 普通用户配置成本相对较高 | | Goose等开源Agent | MCP、终端、浏览器和系统工具 | 权限和执行方式高度可定制 | 可更换模型、部署方式透明 | 安全配置、维护和稳定性由用户负责 |
Gemini真正有机会拉开差距的地方,是把原本分散的产品能力串起来。它既有搜索和浏览器入口,又能读取Google Drive、Gmail、Docs和Sheets中的内容,现在再补上本地文件与Mac应用操作,理论上可以覆盖从“找到信息”到“生成结果”再到“提交结果”的完整链路。
但这种优势也可能转化为数据边界问题。一个能访问已登录浏览器、邮件、云盘、本地文件和桌面应用的Agent,比单纯的聊天机器人更了解用户,也更容易在权限配置不当时造成信息外泄。
最大风险不是模型答错,而是模型做错
Agent的安全风险来自错误行动产生的真实后果,而不只是错误答案。 普通聊天机器人把错误内容写在对话框里,用户通常还有检查机会;桌面Agent如果把错误数据填进表格、覆盖文件或发送给第三方,问题已经从“幻觉”变成了操作事故。
Google在帮助文档中明确列出了多个高风险场景:屏幕中的不可信内容可能通过提示注入诱导Gemini跨应用执行操作;已登录的桌面应用会让Agent接触账户会话;屏幕上显示的多因素认证代码可能被读取;如果允许Gemini使用代码编辑器或开发者工具,还可能间接获得Shell执行或更广泛的文件系统修改能力。(support.google.com)
提示注入是指攻击者把隐藏或伪装的指令放进网页、文档或图片中,诱导AI忽略用户原始目标并执行攻击者指定的操作。 对桌面Agent来说,一个恶意网页不一定只影响浏览器,它可能诱导Agent打开邮件客户端、读取本地文件,再把数据上传到另一个网站。
Google的开发者版Computer Use提供可选的提示注入检测,可以扫描截图中的潜在恶意指令,但检测机制不可能保证拦截所有攻击。更现实的安全策略仍然是缩小权限范围、隔离敏感账户,并对不可逆操作保持人工确认。
对于准备尝鲜的用户,至少应该遵守以下原则:
- 不要一次性允许Gemini访问密码管理器、终端、代码编辑器和全部文件目录;
- 优先连接单独建立的工作文件夹,而不是整个用户目录;
- 批量重命名、覆盖、移动文件前先开启备份;
- 不要让Agent自行处理支付、身份认证和敏感通信;
- 提交表单、发送邮件、发布商品和删除文件前必须人工复核;
- 企业设备应等待管理员策略、审计日志和数据处理条款明确后再启用。
开源Agent项目通常建议把高权限桌面自动化放进虚拟机或隔离账户中运行。Gemini目前依靠后台虚拟屏幕隔离操作界面,但这不等于文件系统和账户权限也被完全沙箱化;用户允许它访问的应用与目录,仍然属于真实数据环境。(github.com)
这次更新的意义:AI入口正在从网页转向操作系统
Gemini Computer Use的战略意义,是Google开始争夺Mac上的系统级AI入口。 浏览器里的AI只能处理网页和上传内容,操作系统里的AI则可以持续接触文件、应用、通知、账户状态和用户工作流。
这也是为什么Google愿意先在竞争对手的硬件上推进。Mac用户往往同时使用Chrome、Google Workspace和多个专业桌面软件,是AI生产力工具最有价值的一批用户;而苹果自己的智能功能仍然强调系统原生集成和设备侧处理,第三方Agent则在执行深度与云端能力上推进得更快。
从产品角度看,这次更新值得肯定。独立后台窗口、实时预览、按应用授权和关键步骤确认,至少解决了第一代桌面Agent抢鼠标、难监督、权限过宽的部分问题。Gemini也没有把能力限制在网页自动浏览,而是直接进入原生Mac应用,这比单纯在云端开一个远程浏览器更接近真正的个人工作Agent。
但它距离“把电脑放心交给AI”仍然很远。Google尚未提供公开成功率和延迟数据,Computer Use对界面变化的适应能力也需要大量真实任务验证;更重要的是,用户必须重新理解软件权限——给Agent开放一个应用,并不是让它调用一个单一功能,而是让它获得一整片可以观察和行动的数字空间。
短期内,Gemini Computer Use最适合重复、低风险、可检查的任务,例如整理下载目录、批量处理素材、从多个文件汇总信息和预填表单。涉及支付、删除、对外发送、生产环境代码或敏感账户时,它仍然应该是有人监督的执行助手,而不是无人值守的自动驾驶系统。
这不是一个“Mac版Gemini增加了自动点击”的小更新,而是消费级AI Agent正式跨过聊天框、开始取得本地执行权的标志。接下来真正决定胜负的,不再只是哪个模型回答得更聪明,而是谁能在足够安全的前提下,把一件横跨五个应用、几十次操作的工作可靠地做完。
参考来源
- https://github.com/trycua/cua/blob/main/blog/evaluating-gemini-3.5-flash-on-computer-use.md —— CUA团队对Gemini Computer Use桌面操作能力的评估与技术分析。
- https://github.com/aaif-goose/goose/blob/main/SECURITY.md —— Goose开源桌面Agent的安全建议,涵盖提示注入、隔离环境和高风险操作确认。
- https://github.com/dartmouth/desktop-ai-agent-workshop —— 达特茅斯桌面AI Agent实践项目,展示使用虚拟机隔离本地Agent权限的方法。
- https://www.reddit.com/r/MarketFluxHub/comments/1y0i7nl/google_gemini_gains_mac_computer_use_capability/ —— 社区对Gemini Mac Computer Use发布及其与苹果竞争关系的讨论。



