開発プレビュー · v0.7.0
AI エージェントにアプリを操作させる。主導権は、常にあなたに
Computer Use は、オープンソースの macOS / Windows アプリです。いま使っているエージェントに、あなたが許可したウィンドウのスクリーンショットと操作権限を与えます。プロンプトを 1 つコピーして渡せば、エージェントが自分で Skill をインストールして接続します。MCP や CLI でも接続できます。既定ではバックグラウンドで動作し、承認は一度だけ。いつでも一時停止・停止・取り消しができます
- macOS 14 以降 · Apple シリコン
- Windows 11 · ARM64 / x64
- MIT ライセンス · テレメトリなし
- Skill
- stdio MCP
- ローカル HTTP MCP
- CLI
- Codex
- Cua Driver
- Playwright
- Model Context Protocol
機能
エージェントに手を。ルールはあなたが決める
実際のウィンドウを見て、操作する
ウィンドウのスクリーンショットとアクセシビリティ要素を取得し、クリック、文字入力、ショートカット、スクロール、直線のドラッグを実行します。対応状況はプラットフォーム、アプリ、操作によって異なります
バックグラウンド優先
セッションは既定でバックグラウンドで入力を届け、自動的にフォアグラウンドへ切り替えることはありません。フォアグラウンドは明示的に要求した場合だけです。サービスは必要になったときに起動し、バックグラウンドでの動作の程度は、アプリやコントロールに依存します
好きなエージェントを使える
インストール用プロンプトをコピーして渡せば、エージェントが自分で Skill をインストールして接続します。stdio MCP、任意で有効にできるローカル HTTP MCP、単体の CLI でも接続できます。タスクの計画はエージェントが行い、Computer Use はあなたが承認した範囲でのみ観察と操作を行います
一度の承認、いつでも取り消し
一度の承認で、すべてのデスクトップアプリ（または指定したアプリだけ）を対象にでき、今後開くウィンドウも含まれ、再起動後も有効です。一時停止、緊急停止、取り消しはいつでも手元で行えます
信頼できる結果
すべての操作は最新のスナップショットとリクエスト ID に基づきます。結果は記録され、結果が不確かな操作は自動で再実行されず、「実行済み」が「検証済み」と混同されることもありません
独立したブラウザ
Playwright が専用のヘッドレス Chromium を操作します。普段使いのブラウザのログイン状態は引き継ぎません。デスクトップアプリとは別に許可します
仕組み
ダウンロードから最初の操作まで、4 ステップ
インストール
macOS では DMG を開き、Windows ではインストーラーを実行します。Computer Use はメニューバーまたは通知領域に常駐します
システム権限を許可
macOS では「アクセシビリティ」と「画面収録」の許可を求められます。両方を許可してから、アプリを完全に終了して開き直します。Windows ではサインイン中のデスクトップセッションで動作します
エージェントを接続
Connect ページでインストール用プロンプトをコピーし、エージェントに貼り付けます。エージェントが Skill を取得して自分の方法でインストールし、接続を確認します。ペアリングはアプリで承認します。既定のボタンは「拒否」です
作業開始
エージェントは、許可したウィンドウを実際に観察するところから始めます。まず読み取り専用のタスクで試し、信頼できてから範囲を広げましょう
computer-use を使って接続を確認し、許可されたウィンドウを一覧表示し、テスト用ウィンドウのセッションを開いてスクリーンショットを取得して内容を説明し、セッションを閉じてください。このタスクではクリックや入力をしないでください
主導権
何に触れられるか、いつまでか。決めるのはあなたです
ローカルのアプリであなたが承認するまで、エージェントは何もできません。承認後も、範囲の縮小、一時停止、取り消しをワンクリックで行えます
明示的なペアリング
エージェントはアプリで承認されるまで何もできません。ダイアログには、要求元、対象アプリ、独立ブラウザを含むか、フォアグラウンド操作を許可するかが表示されます
範囲を絞れて、取り消せる
すべてのデスクトップアプリ（後から開くものも含む）、または指定したアプリだけを承認できます。アプリの「Settings → Clients」で取り消すと、そのクライアントの認証情報はただちに無効になります
一時停止と緊急停止
一時停止は新しい操作をブロックし、緊急停止は進行中の作業をキャンセルして実行層を停止します。どちらも、終了、再起動、ログイン、更新をまたいで保持され、エージェントや自動起動では解除できません
ローカル前提の設計
あなたのユーザーだけがアクセスできるプライベートなソケットまたはパイプ。HTTP は既定でオフで、127.0.0.1 のみにバインド。テレメトリもありません
メタデータだけを記録
操作ログには ID、種類、結果だけを保存し、スクリーンショット、入力したテキスト、URL、ウィンドウタイトルは保存しません。パスワード欄の値は返されません
- セキュリティとプライバシーの詳細を読む
信頼性
失敗したクリックが、こっそり繰り返されることはありません
エージェントは、古くなった画面や不安定な接続の中で動きます。Computer Use は、実際に何が起きたかを正直に伝えるように作られています
最新のスナップショット
すべての操作は、直前に取得したスナップショットを 1 回だけ使います。その間にウィンドウが変わっていれば、推測で実行せず拒否します
リクエスト ID と重複排除
同じリクエストをもう一度送っても、実行は二重にならず、既知の結果が返ります
「実行済み」は「検証済み」ではない
「検証済み」は、入力欄が期待どおりのテキストになったなど、明確に観察できる条件が満たされたことを意味します。タスク全体が成功したという意味ではありません
不明は不明のまま
入力が届いたかどうか自体が不確かな場合、その操作は unknown と記録され、デスクトップでの実行は再起動するまで停止します。その後も再実行はされません
操作のライフサイクル
- queued
順番待ち
- running
送信中
- executed
入力は届きました
- verified
設定した条件を満たしました
届いたか不明。再実行はしません
対応環境
何をテストしたか、正直にお伝えします
Computer Use は開発プレビューです。実機で確認した内容と、まだ確認していない内容を示します
macOS · Apple シリコン
macOS 14 以降、メニューバーアプリ
確認済みインストール版で、全アプリのペアリング、複数アプリや新規ウィンドウへのバックグラウンド入力、一時停止、緊急停止、再起動、取り消しを確認しました
Windows 11 · ARM64
インストーラーまたはポータブル版、トレイアプリ
確認済み1 台の仮想マシンで、2 つのテスト用アプリの 3 つのウィンドウに対する 7 回のバックグラウンド入力と、許可コントロールを確認しました
Windows 11 · x64
インストーラーまたはポータブル版、トレイアプリ
未検証独立したビルドです。ARM64 上の x64 エミュレーションでコンポーネント検査を通過しましたが、ネイティブ x64 のデスクトップでは未検証です
Windows 10（1809 以降）
互換性の対象
対象だが未テストインストーラーは対応していますが、実際の Windows 10 環境ではテストしていません
macOS Intel · Linux
パッケージなし
提供なし現在、このプロジェクトでは提供していません
Windows のインストーラーとポータブル版はまだコード署名されていないため、SmartScreen や Smart App Control が警告またはブロックすることがあります。macOS 版は、リリースワークフローで Developer ID による署名と公証を行っています
プロンプト 1 つで接続する流れは、限定的な確認しか行っていません（Connect ページ、macOS のコールドスタート、終了をまたぐ一時停止・緊急停止）。クリーンな環境でのダウンロードから最初の観察まで、および Codex 以外のエージェントによる Skill のインストールは、まだテストしていません
管理者権限で動作する Windows アプリ、UAC のセキュアデスクトップ、キャンバスやターミナルでの長文入力は、検証済みの範囲外です
大切なものを扱わせる前に、まず使い捨てのドキュメントで試してください
エージェント向け
エージェントがすでに知っているプロトコルで話します
まずはインストール用プロンプトから。エージェントが CLI を操作する Skill をインストールします。MCP を使いたい場合は、同じ 10 個のツールを stdio MCP と、任意で有効にできるローカル HTTP MCP から使えます。Codex で動作確認済みで、他のエージェントによるインストールは未テストです
あなたのエージェント
タスクを計画
Computer Use
承認、セッション、スナップショット、操作ログ
許可したウィンドウ
または独立ブラウザ
[mcp_servers.computer-use]
command = "/Applications/Computer Use.app/Contents/Resources/bin/node"
args = ["/Applications/Computer Use.app/Contents/Resources/runtime/cli.js", "mcp", "stdio", "--profile", "default"]computer-use config codex が出力します。~/.codex/config.toml に貼り付けてください
10 個のツール
- capabilities
- 機能と制限を一覧表示
- doctor
- ランタイム、権限、ブラウザを確認
- targets
- 許可されたウィンドウとページを一覧表示
- session_open
- セッションをターゲットに結び付ける
- session_close
- セッションとスクリーンショットを解放
- observe
- スクリーンショットとアクセシビリティ要素を取得
- act
- クリック、入力、ショートカット、スクロール、ドラッグ
- wait
- 観察できる条件が満たされるまで待機
- action_status
- 以前のリクエストを照会
- cancel
- 待機中または実行中のリクエストをキャンセル
オープンソース
オープンソース。確かな部品の上に
Computer Use は MIT ライセンスです。デスクトップのキャプチャ、アクセシビリティ、入力は Cua Driver、独立ブラウザは Playwright、通信は公式の MCP TypeScript SDK が担います。このプロジェクトは、ホストアプリ、認可、セッションとスナップショット、重複排除と結果の記録、CLI / MCP 連携、バックエンドのアダプター、パッケージングを実装しています
FAQ
よくある質問に、率直にお答えします
Computer Use とは？
macOS / Windows 向けのローカルアプリです。いま使っている AI エージェントが、Skill、MCP、CLI のいずれかを通じて、あなたが許可したウィンドウを見て操作できるようにします。エージェント自体ではなく、タスクの計画や判断は行いません
対応するエージェントは？
Skill を読めるエージェント、stdio MCP に対応するクライアント、CLI を呼び出せるものなら使えます。動作確認は Codex で行っており、他のエージェントによる Skill のインストールはまだ試していません
Node.js やソースコードは必要ですか？
いいえ。アプリが独自のランタイムと CLI を同梱しており、インストール用プロンプトにリポジトリのクローンやグローバルな Node は不要です。Node.js 22 以降が必要なのは、任意の npm ランチャーを使う場合だけです
自分で起動する必要はありますか？
いいえ。完全なインストールでは、エージェントが最初に実際の CLI または stdio MCP を呼び出したときに、バックグラウンドのサービスが起動します。起動によって一時停止や緊急停止が解除されることはなく、システムの権限確認や Windows SmartScreen を回避することもありません
マウスとキーボードを乗っ取られませんか？
既定ではありません。セッションはバックグラウンドモードで動作し、フォアグラウンドはエージェントが明示的に要求したときだけ使われます（ペアリング時に許可済みです）。バックグラウンドの効き方はコントロールによって異なるため、フォーカスが一切動かないことは保証できません
何が見えますか？
許可したアプリのウィンドウだけが、ウィンドウ単位のスナップショットとそのアクセシビリティ要素として取得されます。macOS では「アクセシビリティ」と「画面収録」の許可も必要です。クラウドのエージェントを使う場合、要求されたスクリーンショットはそのモデル提供元によって処理されます
どうやって止めますか？
メニューバーまたはトレイのメニューと設定ウィンドウから、一時停止、緊急停止、取り消しを実行できます。アプリを終了すれば、すべて停止します
データはどこかに送信されますか？
テレメトリはありません。処理はローカルで行われ、記録するのはメタデータだけです。1 日 1 回の更新確認も、GitHub の公開リリース情報を読むだけで、利用データは送りません。例外は、あなた自身のエージェントがモデル提供元に送る内容です
独立ブラウザは、普段のブラウザですか？
いいえ。Playwright が操作する別のヘッドレス Chromium で、普段のログイン状態は引き継ぎません。デスクトップ上のブラウザのウィンドウは通常のアプリウィンドウとして扱われ、アプリの許可範囲に従います
Windows でインストーラーに警告が出るのはなぜ？
Windows のインストーラーとポータブル版はまだコード署名されていないため、SmartScreen や Smart App Control が警告またはブロックすることがあります。ダウンロードページで SHA-256 を確認し、ご自身や組織のポリシーに従ってください
無料ですか？
はい。Computer Use は MIT ライセンスのオープンソースです
Intel Mac や Linux でも使えますか？
現時点では使えません。Intel Mac と Linux 向けのパッケージはありません
まずは使い捨てのドキュメントから
まずエージェントに読み取り専用のタスクを任せ、次にテスト用ドキュメントで入力とクリックをさせてみてください。結果を信頼できると確かめてから、範囲を広げましょう