開發預覽 · v0.7.0
讓 AI Agent 替你操作應用程式，控制權始終在你手中
Computer Use 是一款開源的 macOS 與 Windows 應用程式，讓你已在使用的 Agent 檢視並操作你授權的視窗。複製一段提示詞，Agent 就會自行安裝 Skill 並完成連接；也可以透過 MCP 或 CLI 接入。預設在背景執行；你只需核准一次，隨時可以暫停、停止或撤銷
- macOS 14 以上 · Apple 晶片
- Windows 11 · ARM64 與 x64
- MIT 授權 · 無遙測
- Skill
- stdio MCP
- 本機 HTTP MCP
- CLI
- Codex
- Cua Driver
- Playwright
- Model Context Protocol
功能
給 Agent 一雙手，規則由你決定
檢視並操作真實視窗
取得視窗截圖與輔助使用元素，支援點擊、輸入、快捷鍵、捲動與直線拖曳。實際支援程度取決於平台、應用程式與動作
背景優先
工作階段預設以背景方式送出輸入，不會自行退回前景；需要前景時必須明確要求。服務會依需求啟動，背景效果取決於具體的應用程式與控制項
用你自己的 Agent
複製一段安裝提示詞，Agent 會自行安裝 Skill 並完成連接；也可以透過 stdio MCP、選用的本機 HTTP MCP，或獨立的 CLI 連接。任務由你的 Agent 規劃，Computer Use 只在你核准的範圍內檢視與操作
核准一次，隨時撤銷
一次核准即可涵蓋所有桌面應用程式（也可只授權你列出的項目），包含之後出現的視窗，重新啟動後依然有效。暫停、緊急停止與撤銷隨時都在手邊
值得信賴的結果
每個動作都以最新快照為依據，並附有請求 ID。結果會被記錄，不確定的動作絕不自動重播，「已執行」也不會被誤認為「已驗證」
獨立的瀏覽器
Playwright 驅動專屬的 headless Chromium，不帶有你日常瀏覽器的任何登入狀態。它的授權與桌面應用程式分開
運作方式
從下載到第一次操作，只要四步
安裝
macOS 上開啟 DMG，Windows 上執行安裝程式。Computer Use 會常駐在選單列或通知區域
授予系統權限
macOS 會要求「輔助使用」與「螢幕錄製」權限：兩項都允許後，請完全結束並重新開啟 App。Windows 則在你已登入的桌面工作階段中執行
連接你的 Agent
在“接入”頁面複製安裝提示詞，貼給你的 Agent。它會取得 Skill、以自己的方式安裝並檢查連線。你在 App 中核准配對；預設按鈕是「拒絕」
開始工作
Agent 會先對你授權的視窗做一次真實觀察。先從唯讀任務開始，建立信任後再逐步放寬
使用 computer-use 檢查連線，列出已授權的視窗，開啟測試視窗的工作階段，取得截圖並描述畫面內容，然後關閉工作階段。這次不要點擊或輸入
掌控
能碰什麼、碰多久，由你決定
在你於本機 App 中核准之前，Agent 什麼都做不了。核准之後，你仍可一鍵縮小範圍、暫停或收回權限
明確的配對
Agent 必須先在 App 中獲得核准才能行動。對話框會顯示請求者是誰、涉及哪些應用程式、是否包含獨立瀏覽器，以及是否允許前景操作
有範圍，可撤銷
你可以核准所有桌面應用程式（含之後開啟的），也可以只核准你列出的項目。在 App 的“设置 → 客户端”中撤銷後，該客戶端的憑證會立即失效
暫停與緊急停止
暫停會阻止新動作；緊急停止會取消進行中的工作並關閉執行層。兩者在結束、重新開啟、登入和更新之後都會保留，Agent 與自動啟動都無法解除
為本機而設計
僅限目前使用者存取的私有 socket 或管道；HTTP 預設關閉且只綁定 127.0.0.1；沒有遙測
只記錄動作摘要
動作記錄只保存 ID、類型與結果，不含截圖、輸入的文字、URL 或視窗標題；密碼欄位的內容絕不會回傳
- 閱讀完整的安全與隱私說明
可靠性
漏掉的一次點擊，絕不會被悄悄重播
Agent 面對的是過期的畫面與不穩定的連線。Computer Use 的設計目標，是如實告訴你實際發生了什麼
最新的快照
每個動作都會用掉一份剛取得的快照。若視窗在這段時間內有變化，動作會被拒絕，而不是憑猜測執行
請求 ID 與去重
重複送出同一個請求，只會回傳已知的結果，不會執行第二次
「已執行」不等於「已驗證」
「已驗證」代表某個明確、可觀察的條件已經成立，例如文字欄位現在包含預期的文字；並不代表整個任務成功
未知就是未知
若連輸入是否送達都無法確定，動作會被標記為 unknown，桌面端的執行會停止，直到你重新啟動；之後也不會重播任何動作
動作生命週期
- queued
排隊等候
- running
正在送出
- executed
輸入已送達
- verified
你設定的條件已成立
無法確定是否送達，絕不重播
平台
如實說明測試過什麼
Computer Use 目前是開發預覽版。以下是在真機上驗證過的內容，以及尚未驗證的部分
macOS · Apple 晶片
macOS 14 以上，選單列 App
已測試已安裝的版本完成了全應用程式配對、跨應用程式與新視窗的背景輸入，以及暫停、緊急停止、重新啟動與撤銷的驗收
Windows 11 · ARM64
安裝程式或免安裝版，通知區域程式
已測試在一部虛擬機器上，針對兩個測試程式的三個視窗完成 7 輪背景輸入，並通過授權控制的驗收
Windows 11 · x64
安裝程式或免安裝版，通知區域程式
尚未驗證獨立建置，在 ARM64 上的 x64 模擬環境中通過了元件檢查；原生 x64 桌面尚未驗證
Windows 10（1809 以上）
相容目標
相容目標，未測試安裝程式允許安裝，但尚未在真實的 Windows 10 系統上測試
macOS Intel · Linux
無安裝套件
暫不提供本專案目前不提供
Windows 安裝程式與免安裝版尚未進行程式碼簽署，SmartScreen 或 Smart App Control 可能發出警告或加以攔截。macOS 版本由發佈流程完成 Developer ID 簽署與公證
一鍵提示詞接入目前只做過有限檢查：“接入”頁面、macOS 冷啟動，以及結束後暫停與緊急停止的保持。尚未在乾淨的機器上測試從下載到首次觀察的完整流程，也未測試 Codex 以外的 Agent 安裝 Skill
以管理員權限執行的 Windows 應用程式、UAC 安全桌面，以及畫布與終端機中的長文字，不在已驗證範圍內
在讓 Agent 接觸任何重要內容之前，請先在一次性的測試文件上試用
給 Agent 使用
說你的 Agent 本來就懂的協定
從安裝提示詞開始：你的 Agent 會安裝一個驅動 CLI 的 Skill。若你偏好 MCP，同樣的十個工具也可透過 stdio MCP 與選用的本機 HTTP MCP 使用。已用 Codex 測試；其他 Agent 的安裝尚未測試
你的 Agent
負責規劃任務
Computer Use
核准、工作階段、快照、動作記錄
已授權的視窗
或獨立瀏覽器
[mcp_servers.computer-use]
command = "/Applications/Computer Use.app/Contents/Resources/bin/node"
args = ["/Applications/Computer Use.app/Contents/Resources/runtime/cli.js", "mcp", "stdio", "--profile", "default"]由 computer-use config codex 輸出，貼到 ~/.codex/config.toml 即可
十個工具
- capabilities
- 列出功能與限制
- doctor
- 檢查執行環境、權限與瀏覽器
- targets
- 列出已授權的視窗與頁面
- session_open
- 將工作階段綁定到目標
- session_close
- 釋放工作階段及其截圖
- observe
- 截圖加上輔助使用元素
- act
- 點擊、輸入、快捷鍵、捲動或拖曳
- wait
- 等待某個可觀察的條件
- action_status
- 查詢先前的請求
- cancel
- 取消排隊中或進行中的請求
開源
開源，站在可靠的元件之上
Computer Use 採用 MIT 授權。Cua Driver 提供桌面截圖、輔助使用與輸入，Playwright 驅動獨立瀏覽器，官方 MCP TypeScript SDK 負責傳輸。本專案實作 App 本體、授權、工作階段與快照、去重與結果記錄、CLI 與 MCP 整合、後端整合層與封裝
常見問題
直接回答你的疑問
Computer Use 是什麼？
一款適用於 macOS 與 Windows 的本機應用程式。它讓你已在使用的 AI Agent 透過 Skill、MCP 或 CLI 檢視並操作你授權的視窗。它本身不是 Agent，不會規劃或決定任務
支援哪些 Agent？
任何能讀取 Skill、支援 stdio MCP 或能呼叫 CLI 的 Agent。已用 Codex 測試；其他 Agent 安裝 Skill 的情況尚未測試
需要安裝 Node.js 或下載原始碼嗎？
不需要。App 自帶執行環境與 CLI，安裝提示詞不要求複製儲存庫或安裝全域 Node。只有選用 npm 啟動器時才需要 Node.js 22+
需要我自己先啟動它嗎？
不需要。在完整安裝包中，Agent 第一次實際呼叫 CLI 或 stdio MCP 時，會啟動背景服務。啟動不會解除暫停或緊急停止，也無法繞過系統權限提示或 Windows SmartScreen
它會接管我的滑鼠和鍵盤嗎？
預設不會。工作階段以背景模式執行，只有 Agent 明確要求時才會使用前景操作（配對時已包含此項授權）。背景效果取決於具體的控制項，因此不保證完全不影響焦點
它能看到什麼？
只能看到你授權的應用程式的視窗，以單一視窗快照的形式，連同其輔助使用元素。macOS 還需要你授予「輔助使用」與「螢幕錄製」權限。若使用雲端 Agent，它要求的截圖會由該模型服務供應商處理
要怎麼讓它停下來？
在選單列或通知區域的選單，以及「設定」視窗中，使用「暫停」、「緊急停止」或「撤銷」。結束 App 就會停止一切
會把我的資料送到別處嗎？
沒有遙測。它在本機執行，只記錄動作摘要；每天一次的更新檢查只讀取 GitHub 上公開的發佈資訊，不會傳送任何使用資料。唯一的例外，是你自己的 Agent 傳給其模型服務供應商的內容
獨立瀏覽器就是我平常用的瀏覽器嗎？
不是。它是由 Playwright 驅動的獨立 headless Chromium，不帶有你日常的登入狀態。桌面上的瀏覽器視窗屬於一般應用程式視窗，受你的應用程式授權範圍約束
Windows 為什麼對安裝程式發出警告？
Windows 安裝程式與免安裝版尚未進行程式碼簽署，SmartScreen 或 Smart App Control 可能發出警告或加以攔截。請在下載頁核對 SHA-256，並遵循你自己或所屬組織的政策
它免費嗎？
免費。Computer Use 以 MIT 授權開源
可以用在 Intel Mac 或 Linux 上嗎？
目前不行。Intel Mac 與 Linux 沒有對應的安裝套件