AI-agenter · Lektion

Mönster för datoranvändning (Anthropic Computer-Use)

Anthropic's Computer Use gör skärmbilder, mus och tangentbord tillgängliga som verktyg för Claude.

Lektion 3 av 415 steg

Mönster för datoranvändning (Anthropic Computer-Use) är en gratis lektion i AI-agenter på CoddyKit. Detta är lektion 3 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för AI-agenter, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i AI-agenter innehåller totalt 4 lektioner.

Delar av den här lektionen har ännu inte översatts och visas på engelska.

Vad är Computer Use?

Anthropics funktion ”Computer Use” (i Claude 3.5+) exponerar skärmbild, mus och tangentbord som verktyg. Modellen kan styra ett virtuellt skrivbord från början till slut.

Verktygsuppsättningen

Tre kärnverktyg:

computer — skärmbild, klicka, skriva, rulla
bash — köra skal kommandon
text_editor — läsa och skriva filer

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Returnerade verktygsanrop

Modellen genererar block av typen tool_use, till exempel:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Åtgärdstyper

screenshot — ta och returnera en skärmbild
left_click {coordinate: [x, y]} — klicka
type {text: "hello"} — skriva text
key {text: "Return"} — trycka på en tangent
mouse_move {coordinate: [x, y]}
scroll {coordinate: [...], scroll_direction: "down"}

Ni bygger exekveraren

Anthropic tillhandahåller verktygsDEFINITIONEN, medan ni implementerar exekveringen. Vanligtvis via Playwright, X11 eller ett headless-skrivbord i Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Sandbox krävs

Computer Use låter modellen klicka VAR SOM HELST. Kör det i en isolerad virtuell maskin (Docker + Xvfb + en headless-webbläsare) – aldrig på er laptop.

Anthropics referensavbildning för Docker

Anthropic tillhandahåller en referensavbildning för Docker som innehåller Xvfb, Firefox, en skrivbordsmiljö och exekveraren. Det är en utmärkt startpunkt.

Hastighet och kostnad

Varje steg tar 1–5 sekunder (skärmbild + LLM + åtgärd)
Varje skärmbild lägger till tokens i kontexten
Långa arbetsflöden kan kosta 0,50–5 USD per körning

Fellägen

Fel på element vid klick (10 pixlar fel)
Fastna på popupfönster eller cookiebanners
Sidan har inte lästs in ännu (vänta!)
CAPTCHA:er

OpenAI Operator

OpenAI lanserade en liknande produkt (Operator) – samma koncept, annan implementation. Båda har mindre skillnader men liknande funktioner.

Användningsfall

Fylla i formulär i äldre intranätappar
Testautomatisering i flera webbläsare
Utforskande QA-testning
Assistenten ”använd vilken webbapp som helst åt mig”

Computer Use-verktyg

Vilka verktyg exponerar Anthropics Computer Use för modellen?

Besvara frågan i den interaktiva lektionen

Sammanfattning

Anthropics Computer Use låter Claude styra ett skrivbord. Ni implementerar skärmbild, klick och skrivning via Playwright eller X11. Kör det endast i en sandlåda. Långsamt men flexibelt.

Gratis att börja

Lär dig AI-agenter med en AI-lärare – gratis

Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.

Kurser: 60
Lektioner: 239

Börja lära dig gratis Visa hela kursen

Vanliga frågor

Är lektionen ”Mönster för datoranvändning (Anthropic Computer-Use)” gratis?

Ja – hela texten till ”Mönster för datoranvändning (Anthropic Computer-Use)” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i AI-agenter, kan Ni uppgradera till CoddyKit PRO. Kursen i AI-agenter innehåller totalt 4 lektioner.

Vad lär jag mig i ”Mönster för datoranvändning (Anthropic Computer-Use)”?

Anthropic's Computer Use gör skärmbilder, mus och tangentbord tillgängliga som verktyg för Claude. Ni övar på AI-agenter med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.

Behöver jag någon erfarenhet för att börja lära mig AI-agenter?

Du behöver inga förkunskaper. Utbildningen i AI-agenter på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 3 av 4.

Hur lång tid tar lektionen ”Mönster för datoranvändning (Anthropic Computer-Use)”?

De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.

Kan jag skriva och köra kod i den här AI-agenter-lektionen?

Ja. Varje AI-agenter-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.

Alla lektioner i den här kursen

Webbläsarautomatisering med Playwright
Synmodeller för skärmförståelse
Mönster för datoranvändning (Anthropic Computer-Use)
Bygga en tillförlitlig agent för formulärifyllnad

← Tillbaka till AI-agenter