Computer-Useのパターン（Anthropic Computer-Use）
AnthropicのComputer Useは、スクリーンショット、マウス、キーボードをClaudeのツールとして公開します。
「Computer-Useのパターン（Anthropic Computer-Use）」はCoddyKit上の無料AI Agentsレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
Computer Useとは何か
Anthropicの「Computer Use」機能（Claude 3.5以降）では、スクリーンショット、マウス、キーボードがツールとして公開されます。モデルは仮想デスクトップを端から端まで操作できます。
ツールセット
中核となる3つのツール：
computer— スクリーンショット、クリック、入力、スクロールbash— シェルコマンドを実行text_editor— ファイルを読み書き
Quickstart
from anthropic import Anthropic
client = Anthropic()
response = client.beta.messages.create(
model='claude-sonnet-4-5',
max_tokens=4096,
tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)返されるツール呼び出し
モデルは、次のようなtool_useブロックを生成します：
{
'type': 'tool_use',
'name': 'computer',
'input': {
'action': 'screenshot' # or 'left_click', 'type', 'mouse_move'
}
}アクションの種類
screenshot— スクリーンショットを撮って返すleft_click {coordinate: [x, y]}— クリックするtype {text: "hello"}— テキストを入力するkey {text: "Return"}— キーを押すmouse_move {coordinate: [x, y]}scroll {coordinate: [...], scroll_direction: "down"}
実行側は自分で構築する
Anthropicが提供するのはツール定義であり、実行部分は自分で実装します。通常は、Playwright、X11、またはDocker内のヘッドレスデスクトップを使用します：
from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})
def execute(action_input):
action = action_input['action']
if action == 'screenshot':
return page.screenshot()
if action == 'left_click':
x, y = action_input['coordinate']
page.mouse.click(x, y)
return page.screenshot()
if action == 'type':
page.keyboard.type(action_input['text'])
return page.screenshot()
# ... etc.Returning the Result
tool_result_content = [
{'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]
messages.append({
'role': 'user',
'content': [{
'type': 'tool_result',
'tool_use_id': tc.id,
'content': tool_result_content
}]
})サンドボックス必須
Computer Useでは、モデルがどこでもクリックできます。サンドボックス化したVM（Docker + Xvfb + ヘッドレスブラウザー）で実行し、決して自分のノートパソコン上で実行しないでください。
AnthropicのリファレンスDockerイメージ
Anthropicは、Xvfb、Firefox、デスクトップ環境、実行プログラムをまとめたリファレンスDockerイメージを提供しています。出発点として最適です。
速度とコスト
- 1ステップに1〜5秒かかります（スクリーンショット + LLM + アクション）
- スクリーンショットごとにコンテキストへトークンが追加されます
- 長いワークフローでは、1回の実行に$0.50〜$5かかることがあります
失敗パターン
- 要素をクリックし損なう（10pxずれるなど）
- ポップアップやCookieバナーから抜け出せなくなる
- ページがまだ読み込まれていない（待機が必要）
- CAPTCHA
OpenAI Operator
OpenAIも同様の製品（Operator）を開始しました。概念は同じで、実装が異なります。両者には細かな違いがありますが、機能はよく似ています。
ユースケース
- 従来型のイントラネットアプリでフォームに入力する
- 複数のブラウザーをまたいだテスト自動化
- QAの探索的テスト
- 「任意のWebアプリを私の代わりに使って」というアシスタント
Computer Useのツール
AnthropicのComputer Useは、モデルにどのようなツールを公開しますか？
要点の振り返り
AnthropicのComputer Useを使うと、Claudeがデスクトップを操作できます。PlaywrightまたはX11を使って、スクリーンショット、クリック、入力を実装します。サンドボックス内でのみ実行してください。低速ですが柔軟です。
よくある質問
「Computer-Useのパターン（Anthropic Computer-Use）」レッスンは無料ですか？
はい。「Computer-Useのパターン（Anthropic Computer-Use）」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。
「Computer-Useのパターン（Anthropic Computer-Use）」で何を学びますか？
AnthropicのComputer Useは、スクリーンショット、マウス、キーボードをClaudeのツールとして公開します。 ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AI Agentsを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「Computer-Useのパターン（Anthropic Computer-Use）」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAI Agentsレッスンでコードを書いて実行できますか？
はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- Playwrightによるブラウザー自動化
- 画面理解のためのビジョンモデル
- Computer-Useのパターン（Anthropic Computer-Use）
- 信頼性の高いフォーム入力エージェントの構築