0Pricing
AI Agents · Lekcja

Wzorce użycia komputera (Anthropic Computer-Use)

Anthropic Computer Use udostępnia Claude'owi zrzuty ekranu, mysz i klawiaturę jako narzędzia.

Wzorce użycia komputera (Anthropic Computer-Use) to bezpłatna lekcja AI Agents na CoddyKit. To lekcja 3 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej AI Agents, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs AI Agents zawiera 4 lekcji w sumie.

Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.

Czym jest Computer Use?

Funkcja „Computer Use” firmy Anthropic (dostępna w Claude 3.5 i nowszych wersjach) udostępnia zrzut ekranu, mysz i klawiaturę jako narzędzia. Model może kompleksowo sterować wirtualnym pulpitem.

Zestaw narzędzi

Trzy podstawowe narzędzia:

  • computer — zrzut ekranu, kliknięcie, wpisywanie tekstu, przewijanie
  • bash — uruchamianie poleceń powłoki
  • text_editor — odczytywanie i zapisywanie plików

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Zwracane wywołania narzędzi

Model emituje bloki tool_use, takie jak:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Typy działań

  • screenshot — wykonuje zrzut ekranu i zwraca go
  • left_click {coordinate: [x, y]} — klika
  • type {text: "hello"} — wpisuje tekst
  • key {text: "Return"} — naciska klawisz
  • mouse_move {coordinate: [x, y]}
  • scroll {coordinate: [...], scroll_direction: "down"}

Wykonawcę implementuje Państwa aplikacja

Anthropic udostępnia DEFINICJĘ narzędzia, natomiast wykonanie implementuje Państwa kod. Zwykle robi się to za pomocą Playwright, X11 lub bezgłowego pulpitu w Dockerze:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Wymagana piaskownica

Computer Use pozwala modelowi klikać w DOWOLNYM MIEJSCU. Należy uruchamiać tę funkcję w maszynie wirtualnej działającej w piaskownicy (Docker + Xvfb + bezgłowa przeglądarka) — nigdy na własnym laptopie.

Referencyjny obraz Dockera firmy Anthropic

Anthropic udostępnia referencyjny obraz Dockera zawierający Xvfb, Firefox, środowisko pulpitu i wykonawcę. To dobry punkt wyjścia.

Szybkość i koszty

  • Każdy krok zajmuje 1–5 sekund (zrzut ekranu + LLM + działanie)
  • Każdy zrzut ekranu dodaje tokeny do kontekstu
  • Długie procesy mogą kosztować od 0,50 do 5 USD za uruchomienie

Typowe tryby awarii

  • Nietrafione kliknięcia elementów (o 10 pikseli za daleko)
  • Zawieszanie się na wyskakujących oknach i banerach dotyczących plików cookie
  • Strona nie została jeszcze załadowana (należy czekać!)
  • CAPTCHA

OpenAI Operator

OpenAI uruchomiło podobny produkt (Operator) — ta sama koncepcja, inna implementacja. Oba rozwiązania nieznacznie się różnią, ale oferują podobne możliwości.

Przypadki użycia

  • Wypełnianie formularzy w starszych aplikacjach intranetowych
  • Automatyzacja testów w wielu przeglądarkach
  • Eksploracyjne testowanie QA
  • Asystent „użyj za mnie dowolnej aplikacji internetowej”

Narzędzia Computer Use

Jakie narzędzia funkcja Computer Use firmy Anthropic udostępnia modelowi?

Podsumowanie

Computer Use firmy Anthropic pozwala Claude sterować pulpitem. Państwa kod implementuje wykonywanie zrzutów ekranu, kliknięć i wpisywania tekstu za pomocą Playwright lub X11. Funkcję należy uruchamiać wyłącznie w piaskownicy. Jest powolna, ale elastyczna.

Często zadawane pytania

Czy lekcja „Wzorce użycia komputera (Anthropic Computer-Use)” jest bezpłatna?

Tak — pełny tekst „Wzorce użycia komputera (Anthropic Computer-Use)” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu AI Agents, przejdź na CoddyKit PRO. Kurs AI Agents zawiera 4 lekcji w sumie.

Co nauczysz się w „Wzorce użycia komputera (Anthropic Computer-Use)”?

Anthropic Computer Use udostępnia Claude'owi zrzuty ekranu, mysz i klawiaturę jako narzędzia. Ćwiczysz AI Agents z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć AI Agents?

Nie wymagamy żadnego doświadczenia. AI Agents w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 3 z 4.

Ile czasu zajmuje lekcja „Wzorce użycia komputera (Anthropic Computer-Use)”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji AI Agents?

Tak. Każda lekcja AI Agents zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

  1. Automatyzacja przeglądarki za pomocą Playwright
  2. Modele wizyjne do rozumienia ekranu
  3. Wzorce użycia komputera (Anthropic Computer-Use)
  4. Budowanie niezawodnego agenta do wypełniania formularzy
← Powrót do AI Agents