Raycast 0.71让AI看懂屏幕

Raycast 把“截图问 AI”缩短成一次快捷键

Raycast 近日发布 macOS Beta 0.71，核心更新是 Screen Awareness（屏幕感知）：用户不再需要复制文本、上传截图或逐句解释背景，Raycast AI 可以直接读取当前聚焦窗口的上下文，并据此完成总结、回复、解释和提取信息等任务。

**Screen Awareness 是一种把当前应用界面转换为 AI 上下文的系统级能力。**它不只是截一张图发给视觉模型，而是将应用与窗口信息、选中文本、当前焦点控件以及窗口截图组合起来，让模型同时获得“画面”和“结构”。根据 IT之家 8 月 13 日的报道，这项更新由 9to5Mac 于 8 月 12 日率先介绍，目前对应的是 Raycast 的 macOS Beta 版本。

这次更新看上去只是给 AI 多加了一个附件入口，实际上改变的是桌面 AI 的交互单位：过去用户给 AI 的通常是一段文字或一张截图，现在用户交给 AI 的是“当前正在处理的任务现场”。

屏幕感知到底会发送什么

**Raycast 0.71提供的是多源上下文，而不是单纯的屏幕截图识别。**官方更新信息显示，触发 Screen Awareness 后，送入 Raycast AI 的上下文包括以下四类内容：

• 当前应用和窗口的详细信息；
• 用户已经选中的文本；
• 当前获得焦点的控件；
• 当前窗口的截图。

这四类信息共同解决了纯视觉输入容易产生歧义的问题。比如一张邮件客户端截图可能包含发件人、正文、工具栏和侧边栏，但 AI 未必知道用户究竟想回复哪封邮件；如果系统同时提供窗口身份、选中文本和焦点位置，模型就更容易判断任务对象。

**结构化信息与截图的组合，是 Raycast 相比普通“截图问 AI”更有价值的地方。**截图负责保留图表、布局、按钮状态和无法复制的内容，选中文本负责提供高精度语义，应用与窗口信息则告诉模型场景发生在哪里。它更接近给模型一份“现场记录”，而不是只递过去一张照片。

不过，现有更新说明没有披露截图解析、文字提取和上下文筛选分别在本地还是云端完成，也没有公开各种上下文的优先级。用户不应把“屏幕感知”简单理解为所有内容都在设备端处理；只要使用云端模型，相关上下文就可能需要离开本机完成推理，具体仍应以 Raycast 的隐私政策、模型设置和后续技术说明为准。

三种触发方式，最低成本是直接说“总结这个”

**Raycast 0.71把屏幕感知放进了三个不同的交互入口。**用户可以根据自己的使用习惯选择命令、附件菜单或自然语言触发，而不必先进入专门的截图工具。

| 触发方式 | 具体操作 | 更适合的场景 | 操作特点 | |---|---|---|---| | Send Focused Window to AI | 执行“发送当前窗口至 AI”命令 | 需要明确指定整个窗口 | 边界清楚，适合绑定快捷键 | | @ 菜单 | 在 AI 输入框中选择 Screen Awareness | 同时添加文件、文本等上下文 | 用户能看见自己添加了什么 | | 自然语言指令 | 输入“summarise this”或“reply to this” | 临时总结、回复邮件或消息 | 步骤最少，意图识别要求更高 |

**自然语言触发是这次更新最像“系统级 AI”的部分。**用户只需在当前窗口上唤出 Raycast，然后输入“summarise this”，系统便会主动把屏幕内容补入上下文，而不是要求用户手工完成截图、保存、上传和解释。

首次运行相关命令时，Raycast 会提供一个简短引导，帮助用户设置快捷键。Raycast 团队内部偏好的方式是连按两次右侧 Command 键，这种设计的好处是不会占用常见的单组快捷键，又能单手快速调用。

它省掉的不只是复制粘贴

**Screen Awareness最直接的收益，是减少 AI 对话前的“上下文搬运”。**桌面 AI 过去经常卡在一个尴尬环节：模型本身有能力总结邮件、解释报错和分析表格，但用户必须先把材料整理成模型能接收的形式。

以回复邮件为例，传统流程通常包括选中正文、复制、打开 AI、粘贴、补充发件人和沟通背景、要求生成回复，再把结果复制回邮件客户端。Raycast 0.71把前半段压缩为唤出命令和输入“reply to this”，尤其适合每天需要处理大量 Slack 消息、工单、邮件和网页后台的用户。

**开发者场景可能比普通办公场景更能体现这项能力的上限。**当终端出现报错、浏览器打开文档、IDE 弹出冲突提示时，窗口截图可以保留代码高亮和界面状态，选中文本则能把关键错误准确交给模型。AI未必能代替完整的日志分析，但它可以更快完成第一轮定位，例如解释报错含义、指出可能相关的配置项，或者把一段难读的错误信息改写成排查清单。

**不可复制内容也是屏幕感知真正有用的场景。**远程桌面、设计稿、视频字幕、图表、PDF 扫描页和部分封闭式客户端中的内容，往往无法直接选中。过去用户需要截图后再上传，Raycast 现在把这条路径收进同一个快捷启动器里。

这项能力仍然不是“AI完全理解电脑里的一切”。它读取的是当前聚焦窗口，而不是自动掌握所有后台应用、文件历史和用户意图；模型也可能看错小字号文本、图表坐标或被遮挡的界面元素。对财务数字、合同条款和生产环境操作，屏幕感知更适合辅助理解，不适合未经复核直接执行。

Raycast 正在从启动器变成 AI 操作层

**Raycast 是一款以键盘为核心的快捷启动与任务管理工具。**它最初的核心价值是用统一命令面板启动应用、搜索文件、执行脚本和调用扩展，后来逐步加入 AI Chat、Quick AI、文件附件、文档对话与系统上下文能力。

Screen Awareness 延续了同一条产品路线：Raycast 不试图再造一个独立聊天网站，而是把 AI 放到用户原有工作流上方。它知道用户当前在哪个应用、看哪个窗口、选中了什么内容，因此能比一个孤立的网页聊天框少问几轮背景问题。

**桌面 AI 产品竞争的关键已经从“接入哪个模型”转向“能拿到什么上下文”。**不同产品都可以接入能力相近的大模型，但能否低成本取得当前窗口、文件、剪贴板、日历和应用状态，决定了 AI 是一个问答框，还是一个真正可用的工作入口。

| 产品形态 | 获取当前屏幕上下文 | 操作路径 | 主要优势 | 主要限制 | |---|---|---|---|---| | Raycast 0.71 | 当前窗口信息、选中文本、焦点控件、截图 | 快捷键、命令或 @ 菜单 | 上下文类型丰富，键盘工作流成熟 | 当前更新面向 macOS Beta，隐私边界需关注 | | 通用网页 AI | 通常依赖手动粘贴或上传截图 | 浏览器上传附件 | 模型选择多，跨平台 | 上下文搬运步骤多，不知道当前应用状态 | | 系统截图工具加 AI | 主要获取图像或 OCR 文本 | 框选截图后提问 | 控制范围直观 | 应用语义和焦点信息有限 | | 应用内置 AI | 可直接读取本应用内容 | 在应用内部调用 | 对单一应用理解更深 | 跨应用能力弱，工作流容易碎片化 |

Raycast 的优势不是发明了视觉模型，而是占据了一个恰当的位置：它本来就常驻系统、负责快捷键与命令分发，现在顺势把窗口上下文组织成模型可消费的输入。对于已经重度使用 Raycast 的 Mac 用户，这种改进比再增加一个模型名称更有感知。

上下文压缩是隐藏在屏幕感知背后的关键更新

**Raycast 0.71同时加入了上下文压缩与管理支持。**这项更新没有 Screen Awareness 那么显眼，却直接影响长对话是否稳定，因为窗口截图、页面文本和历史消息会快速消耗模型的上下文窗口。

上下文压缩可以理解为给对话做“滚动摘要”：系统保留当前任务必需的信息，把早期内容压缩成更短的表示，从而避免每次请求都携带完整历史。它有助于控制延迟和推理成本，也能减少长会话超过模型输入上限的概率。

但压缩并非没有代价。摘要过程可能丢失早期对话中的数字、限定条件或否定表达，因此复杂任务仍应让用户能够查看、删除或重新添加上下文。Raycast 此次只确认增加了 compaction and context management support，尚未公布压缩阈值、具体算法以及用户可控制的粒度。

0.71还有七类改动，但主线都指向更低摩擦

**Raycast 0.71共列出8项核心更新，其中3项直接围绕屏幕感知和AI上下文。**除 Send Focused Window to AI、Ask Screen Awareness AI Extension 以及上下文压缩外，版本还调整了 Quick AI、听写、反馈入口和快捷键系统。

| 模块 | 更新内容 | 实际影响 | |---|---|---| | AI | Send Focused Window to AI 提供更丰富的应用和窗口上下文 | 降低模型误解当前任务的概率 | | AI | 新增 Ask Screen Awareness AI Extension | 更快把屏幕内容交给 Raycast | | AI | 增加上下文压缩和管理 | 改善长对话的上下文占用 | | Quick AI | 支持“Send Message”设置 | 可通过 Command + Return 提交查询 | | Dictation | 可从其他应用导入词汇和热键 | 降低迁移听写工具的成本 | | Dictation | 新增 Add Word to Vocabulary 命令 | 方便录入人名、术语和专有词 | | Feedback | 新增 Ask Feedback AI Extension | 更直接地联系 Raycast 团队 | | Hotkeys | 支持左右两侧修饰键组合 | 可设置左 Command + 右 Command 等组合 |

**双侧修饰键支持是一项小但很“Raycast”的更新。**很多效率工具的问题不是缺功能，而是系统快捷键已经拥挤不堪；区分左、右 Command 等修饰键后，用户可以创建更少冲突的新组合，录制器也会正确显示这些按键。

该版本还修复了多项 AI 相关问题，包括重启 Raycast 后处理工具权限提示无响应、收到格式异常的确认问题时应用崩溃、删除聊天时重复询问确认，以及 Agent 已经结束但聊天界面仍显示忙碌等。这些修复表明 Raycast 正在补齐 AI 从演示功能走向高频入口时必然遇到的状态管理问题。

好用，但隐私风险也更具体了

**屏幕感知越顺手，误发送敏感信息的概率就越值得警惕。**当前窗口可能同时出现客户姓名、内部链接、访问凭据、财务数字、医疗信息或未公开代码，而自然语言触发又刻意减少了确认步骤。

用户在实际使用时至少应该做三件事：第一，为屏幕感知设置独立且不易误触的快捷键；第二，在密码管理器、公司后台和生产环境终端中谨慎调用；第三，发送前确认当前聚焦窗口和选中文本是否正确。企业用户还需要核对数据保留、模型提供方和组织策略，而不能仅凭界面上的“AI”按钮判断数据流向。

Raycast 后续最需要补强的能力不是再多支持几个提示词，而是提供清晰的发送预览、应用黑名单、敏感字段遮罩和企业级审计。只有用户能明确知道“哪些内容将被发送、发送给谁、保留多久”，Screen Awareness 才能从个人效率技巧变成可被组织接受的基础能力。

判断：这是一项小版本号下的大方向更新

**Raycast 0.71最重要的变化，是把AI从独立目的地变成当前窗口的一项操作。**它没有发布新模型，也没有给出夸张的性能跑分，但它确实削掉了桌面 AI 最烦人的一层摩擦：用户不必不断充当应用与模型之间的搬运工。

对已经把 Raycast 当作 Mac 命令中心的用户，这项功能很可能迅速进入高频工作流；对只偶尔使用 AI 的用户，它的价值则取决于是否愿意把窗口上下文交给云端服务。产品体验和隐私控制将在这里形成直接拉扯。

更长远地看，AI桌面的竞争不会只看谁能回答问题，而会看谁最懂用户此刻正在做什么。Raycast 0.71没有让 Mac 变成一个完全自主的 AI 操作系统，但它让“对当前画面直接下命令”从概念演示变成了一个可以绑定到右 Command 键的日常动作。

参考来源

• IT之家：苹果 Mac 平台效率工具 Raycast 0.71 发布，让 AI 直接“看懂”屏幕——介绍 Screen Awareness 的触发方式、上下文范围与版本核心更新。