Pattern per l’uso del computer (Anthropic Computer-Use)
Anthropic Computer Use espone screenshot, mouse e tastiera come strumenti per Claude
Pattern per l’uso del computer (Anthropic Computer-Use) è una lezione AI Agents gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento AI Agents, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso AI Agents include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Che cos'è Computer Use?
La funzionalità "Computer Use" di Anthropic (in Claude 3.5 e versioni successive) espone screenshot, mouse e tastiera come strumenti. Il modello può controllare un desktop virtuale dall'inizio alla fine.
Il set di strumenti
Tre strumenti fondamentali:
computer— screenshot, clic, digitazione, scorrimentobash— esecuzione di comandi shelltext_editor— lettura e scrittura di file
Quickstart
from anthropic import Anthropic
client = Anthropic()
response = client.beta.messages.create(
model='claude-sonnet-4-5',
max_tokens=4096,
tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)Chiamate agli strumenti restituite
Il modello emette blocchi tool_use come:
{
'type': 'tool_use',
'name': 'computer',
'input': {
'action': 'screenshot' # or 'left_click', 'type', 'mouse_move'
}
}Tipi di azione
screenshot— acquisire e restituire uno screenshotleft_click {coordinate: [x, y]}— fare clictype {text: "hello"}— digitare del testokey {text: "Return"}— premere un tastomouse_move {coordinate: [x, y]}scroll {coordinate: [...], scroll_direction: "down"}
Costruire l'executor
Anthropic fornisce la DEFINIZIONE dello strumento; l'esecuzione viene implementata da chi sviluppa. In genere tramite Playwright, X11 o un desktop headless in Docker:
from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})
def execute(action_input):
action = action_input['action']
if action == 'screenshot':
return page.screenshot()
if action == 'left_click':
x, y = action_input['coordinate']
page.mouse.click(x, y)
return page.screenshot()
if action == 'type':
page.keyboard.type(action_input['text'])
return page.screenshot()
# ... etc.Returning the Result
tool_result_content = [
{'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]
messages.append({
'role': 'user',
'content': [{
'type': 'tool_result',
'tool_use_id': tc.id,
'content': tool_result_content
}]
})Sandbox obbligatoria
Computer Use consente al modello di fare clic OVUNQUE. Eseguirlo in una VM isolata (Docker + Xvfb + un browser headless), mai sul proprio laptop.
Immagine Docker di riferimento di Anthropic
Anthropic fornisce un'immagine Docker di riferimento che include Xvfb, Firefox, un ambiente desktop e l'executor. È un ottimo punto di partenza.
Velocità e costi
- Ogni passaggio richiede 1-5 secondi (screenshot + LLM + azione)
- Ogni screenshot aggiunge token al contesto
- I flussi di lavoro lunghi possono costare $0.50 - $5 per esecuzione
Modalità di errore
- Elementi cliccati erroneamente (con uno scarto di 10 px)
- Blocco su popup o banner dei cookie
- La pagina non è ancora stata caricata (attendere!)
- Captcha
OpenAI Operator
OpenAI ha lanciato un prodotto simile (Operator): stesso concetto, implementazione diversa. Entrambi presentano piccole differenze, ma capacità simili.
Casi d'uso
- Compilazione di moduli in app intranet obsolete
- Automazione dei test su più browser
- Test esplorativi di QA
- Assistente "usa qualsiasi app web al posto mio"
Strumenti di Computer Use
Quali strumenti espone Computer Use di Anthropic al modello?
Riepilogo
Computer Use di Anthropic consente a Claude di controllare un desktop. L'implementazione di screenshot/clic/digitazione avviene tramite Playwright o X11. Eseguirlo solo in una sandbox. È lento, ma flessibile.
Domande Frequenti
La lezione «Pattern per l’uso del computer (Anthropic Computer-Use)» è gratuita?
Sì — il testo completo di «Pattern per l’uso del computer (Anthropic Computer-Use)» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso AI Agents, passa a CoddyKit PRO. Il corso AI Agents include 4 lezioni in totale.
Cosa imparerò in «Pattern per l’uso del computer (Anthropic Computer-Use)»?
Anthropic Computer Use espone screenshot, mouse e tastiera come strumenti per Claude Eserciti AI Agents con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare AI Agents?
Non è richiesta alcuna esperienza precedente. AI Agents su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Pattern per l’uso del computer (Anthropic Computer-Use)»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione AI Agents?
Sì. Ogni lezione AI Agents include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Automazione del browser con Playwright
- Modelli di visione per comprendere lo schermo
- Pattern per l’uso del computer (Anthropic Computer-Use)
- Creare un agente affidabile per la compilazione dei moduli