跳到正文
Computer Use

开发预览 · v0.7.0

让 AI Agent 替你操作应用，控制权始终在你手中

Computer Use 是一款开源的 macOS 与 Windows 应用，让你已经在用的 Agent 看到并操作你授权的应用窗口。复制一段提示词，Agent 就会自己安装 Skill 并完成连接；也可以用 MCP 或 CLI 接入。默认在后台运行；你只需批准一次，随时可以暂停、停止或撤销

下载在 GitHub 查看 (在新标签页打开)
  • macOS 14+ · Apple 芯片
  • Windows 11 · ARM64 与 x64
  • MIT 许可 · 无遥测
接入方式
  • Skill
  • stdio MCP
  • 本机 HTTP MCP
  • CLI
测试过的 Agent
  • Codex
构建于
  • Cua Driver
  • Playwright
  • Model Context Protocol

功能

给 Agent 一双手，规则由你来定

  • 查看并操作真实窗口

    获取窗口截图和辅助功能元素，支持点击、输入、快捷键、滚动与直线拖拽。具体支持程度取决于平台、应用和动作

  • 后台优先

    会话默认以后台方式派发输入，不会自行回退到前台；需要前台时必须显式申请。服务按需启动，后台效果取决于具体的应用和控件

  • 用你自己的 Agent

    复制一段安装提示词，Agent 会自己安装 Skill 并完成连接；也可以通过 stdio MCP、可选的本机 HTTP MCP，或独立的 CLI 接入。任务由你的 Agent 规划，Computer Use 只在你批准的范围内观察和操作

  • 批准一次，随时撤销

    一次批准即可覆盖所有桌面应用（也可只授权你列出的应用），包括之后出现的窗口，重启后依然有效。暂停、紧急停止和撤销始终触手可及

  • 结果可信

    每个动作都基于新鲜快照并带有请求 ID。结果会被记录，不确定的动作绝不自动重放，“已执行”也不会被误当成“已验证”

  • 独立的浏览器

    Playwright 驱动单独的 headless Chromium，不带你日常浏览器的任何登录状态。它的授权与桌面应用相互独立

工作方式

从下载到第一次操作，只需四步

  1. 安装

    macOS 上打开 DMG，Windows 上运行安装程序。Computer Use 常驻在菜单栏或通知区域

  2. 授予系统权限

    macOS 会请求“辅助功能”和“屏幕录制”权限：两项都允许后，完全退出并重新打开 App。Windows 则运行在你已登录的桌面会话中

  3. 连接你的 Agent

    在“接入”页复制安装提示词，粘贴给你的 Agent。它会获取 Skill、按自己的方式安装并检查连接。你在 App 中批准配对；“拒绝”是默认按钮

  4. 开始工作

    Agent 会先对你授权的窗口做一次真实观察。先从只读任务开始，建立信任后再逐步放开

界面示意，文字取自 App 本身。App 目前提供简体中文和英文两种界面
安全的第一条提示词
使用 computer-use 检查连接，列出已授权窗口，打开测试窗口的会话，获取截图并描述看到的内容，然后关闭会话。此次不要点击或输入
阅读完整的安装指南更喜欢手动配置？查看使用 CLI 与 MCP 的手动接入方式

掌控

能碰什么、碰多久，由你决定

在你于本机 App 中批准之前，Agent 什么都做不了。批准之后，你也可以一键缩小范围、暂停或收回权限

  • 明确的配对

    Agent 必须先在 App 中获得批准才能行动。弹窗会显示请求方是谁、涉及哪些应用、是否包含独立浏览器，以及是否允许前台操作

  • 有范围，可撤销

    可以批准所有桌面应用（含之后打开的应用），也可以只批准你列出的应用。在“设置 → 客户端”中撤销后，该客户端的凭据立即失效

  • 暂停与紧急停止

    暂停会阻止新动作；紧急停止会取消进行中的工作并关闭执行层。两者在退出、重新打开、登录和更新后都会保留，Agent 和自动启动都无法解除

  • 为本机而设计

    仅当前用户可访问的私有 socket 或管道；HTTP 默认关闭且只绑定 127.0.0.1；没有遥测

  • 只记录元数据

    动作记录只保存 ID、类型和结果，不含截图、输入文本、URL 或窗口标题；密码框的内容绝不会返回

  • 阅读完整的安全与隐私说明
界面示意，文字取自 App 本身。App 目前提供简体中文和英文两种界面

可靠性

漏掉的一次点击，绝不会被悄悄重放

Agent 面对的是过期的画面和不稳定的连接。Computer Use 的设计目标，是如实告诉你实际发生了什么

  • 新鲜的快照

    每个动作都会消耗一份刚刚获取的快照。如果窗口在此期间发生了变化，动作会被拒绝，而不是凭猜测执行

  • 请求 ID 与去重

    重复发送同一个请求，只会返回已知结果，而不会执行第二次

  • “已执行”不等于“已验证”

    “已验证”表示某个明确、可观察的条件已经满足，例如文本框现在包含预期文字；并不表示整个任务成功

  • 未知就是未知

    如果连输入是否送达都无法确定，动作会被标记为 unknown，桌面执行会停止，直到你重新启动；之后也不会重放任何动作

动作生命周期

  1. queued

    排队等待

  2. running

    正在派发

  3. executed

    输入已送达

  4. verified

    你设定的条件已满足

unknown

无法确定是否送达，绝不重放

平台

如实说明测试过什么

Computer Use 目前是开发预览版。下面是在真机上验证过的内容，以及尚未验证的部分

  • macOS · Apple 芯片

    macOS 14 或更高，菜单栏 App

    已测试

    已安装的构建完成了全应用配对、跨应用与新窗口的后台输入，以及暂停、紧急停止、重启和撤销的验收

  • Windows 11 · ARM64

    安装程序或便携版，托盘程序

    已测试

    在一台虚拟机上，针对两个测试程序的三个窗口完成 7 轮后台输入，并通过授权控制验收

  • Windows 11 · x64

    安装程序或便携版，托盘程序

    尚未验证

    独立构建，在 ARM64 上的 x64 模拟环境中通过了组件校验；原生 x64 桌面尚未验证

  • Windows 10（1809 及以上）

    兼容目标

    兼容目标，未测试

    安装程序允许安装，但尚未在真实的 Windows 10 系统上测试

  • macOS Intel · Linux

    无安装包

    暂不提供

    本项目目前不提供

Windows 安装程序和便携版尚未代码签名，SmartScreen 或 Smart App Control 可能给出警告或拦截。macOS 构建由发布流程完成 Developer ID 签名和公证

一键提示词接入目前只做过有限检查：“接入”页、macOS 冷启动，以及退出后暂停和紧急停止的保持。尚未在干净的机器上测试从下载到首次观察的完整流程，也未测试 Codex 之外的 Agent 安装 Skill

以管理员权限运行的 Windows 应用、UAC 安全桌面，以及画布和终端中的长文本，不在已验证范围内

在让 Agent 接触任何重要内容之前，请先在一次性测试文档上试用

验证记录（中文） (在新标签页打开)

面向 Agent

说你的 Agent 本来就懂的协议

从安装提示词开始：你的 Agent 会安装一个驱动 CLI 的 Skill。如果你更喜欢 MCP，同样的十个工具也可通过 stdio MCP 和可选的本机 HTTP MCP 使用。已用 Codex 测试；其他 Agent 的安装尚未测试

你的电脑

你的 Agent

负责规划任务

stdio MCP · HTTP（本机）· CLI

Computer Use

审批、会话、快照、动作记录

Cua Driver · Playwright

已授权的窗口

或独立浏览器

config.toml
[mcp_servers.computer-use]
command = "/Applications/Computer Use.app/Contents/Resources/bin/node"
args = ["/Applications/Computer Use.app/Contents/Resources/runtime/cli.js", "mcp", "stdio", "--profile", "default"]

由 computer-use config codex 输出，粘贴到 ~/.codex/config.toml 即可

十个工具

capabilities
列出能力与限制
doctor
检查运行时、权限与浏览器
targets
列出已授权的窗口和页面
session_open
把会话绑定到目标
session_close
释放会话及其截图
observe
截图加辅助功能元素
act
点击、输入、快捷键、滚动或拖拽
wait
等待某个可观察的条件
action_status
查询之前的请求
cancel
取消排队中或进行中的请求

开源

开源，站在可靠的部件之上

Computer Use 采用 MIT 许可。Cua Driver 提供桌面截图、辅助功能和输入，Playwright 驱动独立浏览器，官方 MCP TypeScript SDK 负责传输。本项目实现宿主应用、授权、会话与快照、去重与结果记录、CLI 与 MCP 接入、后端适配和打包

在 GitHub 查看源码 (在新标签页打开)MIT 许可 (在新标签页打开)第三方声明 (在新标签页打开)反馈问题 (在新标签页打开)

常见问题

直接回答你的疑问

Computer Use 是什么？

一款面向 macOS 和 Windows 的本地应用。它让你已经在用的 AI Agent 通过 Skill、MCP 或 CLI 查看并操作你授权的窗口。它本身不是 Agent，不会规划或决定任务

支持哪些 Agent？

任何能读取 Skill、支持 stdio MCP 或能调用 CLI 的 Agent。已用 Codex 测试；其他 Agent 安装 Skill 的情况尚未测试

需要安装 Node.js 或下载源码吗？

不需要。App 自带运行时和 CLI，安装提示词不要求克隆仓库或安装全局 Node。只有选用可选的 npm 启动器时才需要 Node.js 22+

需要我自己先启动它吗？

不需要。在完整安装包中，Agent 第一次真正调用 CLI 或 stdio MCP 时会启动后台服务。启动不会解除暂停或紧急停止，也无法绕过系统权限提示或 Windows SmartScreen

它会接管我的鼠标和键盘吗？

默认不会。会话以后台模式运行，只有 Agent 明确要求前台时才会使用前台操作（配对时已包含此项授权）。后台效果取决于具体控件，因此不保证完全不影响焦点

它能看到什么？

只能看到你授权的应用的窗口，以单个窗口的快照形式，连同其辅助功能元素。macOS 还要求你授予“辅助功能”和“屏幕录制”权限。如果使用云端 Agent，它请求的截图会由对应的模型服务商处理

如何让它停下来？

在菜单栏或托盘菜单以及“设置”窗口中，使用“暂停”、“紧急停止”或“撤销”。退出 App 会停止一切

会把我的数据发到别处吗？

没有遥测。它在本机运行，只记录元数据；每天一次的更新检查只读取 GitHub 上公开的发布信息，不发送任何使用数据。唯一的例外，是你自己的 Agent 发给其模型服务商的内容

独立浏览器就是我平时用的浏览器吗？

不是。它是由 Playwright 驱动的单独 headless Chromium，不带你日常的登录状态。桌面上的浏览器窗口属于普通应用窗口，受你的应用授权范围约束

Windows 为什么对安装程序给出警告？

Windows 安装程序和便携版尚未代码签名，SmartScreen 或 Smart App Control 可能给出警告或拦截。请在下载页核对 SHA-256，并遵循你自己或所在组织的策略

它免费吗？

免费。Computer Use 以 MIT 许可开源

能用在 Intel Mac 或 Linux 上吗？

目前不能。Intel Mac 和 Linux 没有对应的安装包

先从一份一次性文档开始

先给 Agent 一个只读任务，再让它在测试文档里输入和点击。确认结果可信之后，再扩大它的范围

下载阅读安装指南