0Pricing
AI Agents · Lektion

Muster zur Computernutzung (Anthropic Computer-Use)

Anthropics Computer Use stellt Claude Screenshots, Maus und Tastatur als Tools zur Verfügung.

Muster zur Computernutzung (Anthropic Computer-Use) ist eine kostenlose AI Agents-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des AI Agents-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der AI Agents-Kurs umfasst insgesamt 4 Lektionen.

Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.

Was ist Computer Use?

Anthropics Fähigkeit „Computer Use“ stellt Screenshots, Maus und Tastatur als Tools bereit. Das Modell kann einen virtuellen Desktop vollständig steuern.

Der Werkzeugsatz

Drei zentrale Tools:

  • computer — Screenshot, Klicken, Eingeben, Scrollen
  • bash — Shell-Befehle ausführen
  • text_editor — Dateien lesen und schreiben

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Zurückgegebene Tool-Aufrufe

Das Modell gibt Blöcke wie tool_use aus:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Aktionstypen

  • screenshot — Screenshot aufnehmen und zurückgeben
  • left_click {coordinate: [x, y]} — klicken
  • type {text: "hello"} — Text eingeben
  • key {text: "Return"} — eine Taste drücken
  • mouse_move {coordinate: [x, y]}
  • scroll {coordinate: [...], scroll_direction: "down"}

Sie implementieren den Executor

Anthropic stellt die Tool-DEFINITION bereit; Sie implementieren die AUSFÜHRUNG. Typischerweise geschieht das über Playwright, X11 oder einen Headless-Desktop in Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Sandbox erforderlich

Computer Use ermöglicht es dem Modell, ÜBERALL zu klicken. Führen Sie es in einer sandboxed VM aus (Docker + Xvfb + ein Headless-Browser) – niemals auf Ihrem Laptop.

Anthropic-Referenz-Docker-Image

Anthropic stellt ein Referenz-Docker-Image bereit, das Xvfb, Firefox, eine Desktopumgebung und den Executor bündelt. Ein hervorragender Ausgangspunkt.

Geschwindigkeit und Kosten

  • Jeder Schritt dauert 1–5 Sekunden (Screenshot + LLM + Aktion)
  • Jeder Screenshot fügt dem Kontext Tokens hinzu
  • Lange Abläufe können 0,50–5 $ pro Durchlauf kosten

Fehlerquellen

  • Falsch angeklickte Elemente (10 Pixel daneben)
  • Festhängen an Pop-ups oder Cookie-Bannern
  • Die Seite ist noch nicht geladen (warten!)
  • Captchas

OpenAI Operator

OpenAI hat ein ähnliches Produkt auf den Markt gebracht (Operator) – dasselbe Konzept, eine andere Implementierung. Beide unterscheiden sich geringfügig, bieten aber ähnliche Möglichkeiten.

Anwendungsfälle

  • Formulare in veralteten Intranet-Anwendungen ausfüllen
  • Testautomatisierung über mehrere Browser hinweg
  • Exploratives QA-Testing
  • „Verwenden Sie jede Webanwendung für mich“-Assistent

Computer-Use-Tools

Welche Tools stellt Anthropics Computer Use dem Modell zur Verfügung?

Zusammenfassung

Anthropics Computer Use ermöglicht es Claude, einen Desktop zu steuern. Sie implementieren Screenshot, Klicken und Eingeben über Playwright oder X11. Führen Sie es ausschließlich in einer Sandbox aus. Langsam, aber flexibel.

Häufig gestellte Fragen

Ist die Lektion „Muster zur Computernutzung (Anthropic Computer-Use)“ kostenlos?

Ja — der vollständige Text von „Muster zur Computernutzung (Anthropic Computer-Use)“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des AI Agents-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der AI Agents-Kurs umfasst insgesamt 4 Lektionen.

Was lerne ich in „Muster zur Computernutzung (Anthropic Computer-Use)“?

Anthropics Computer Use stellt Claude Screenshots, Maus und Tastatur als Tools zur Verfügung. Du übst AI Agents mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.

Brauche ich Erfahrung, um AI Agents zu starten?

Keine Vorkenntnisse erforderlich. AI Agents auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.

Wie lange dauert die Lektion „Muster zur Computernutzung (Anthropic Computer-Use)“?

Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.

Kann ich in dieser AI Agents-Lektion Code schreiben und ausführen?

Ja. Jede AI Agents-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.

Alle Lektionen in diesem Kurs

  1. Browser-Automatisierung mit Playwright
  2. Vision-Modelle zum Verstehen von Bildschirminhalten
  3. Muster zur Computernutzung (Anthropic Computer-Use)
  4. Einen zuverlässigen Agent zum Ausfüllen von Formularen entwickeln
← Zurück zu AI Agents