0Pricing
AI Agents · Leçon

Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use)

Anthropic Computer Use expose la capture d’écran, la souris et le clavier comme outils pour Claude.

Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use) est une leçon AI Agents gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage AI Agents, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours AI Agents comprend 4 leçons au total.

Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.

Qu’est-ce que Computer Use ?

La fonctionnalité « Computer Use » d’Anthropic (dans Claude 3.5 et les versions ultérieures) expose la capture d’écran, la souris et le clavier sous forme d’outils. Le modèle peut piloter un bureau virtuel de bout en bout.

L’ensemble d’outils

Trois outils essentiels :

  • computer — capture d’écran, clic, saisie, défilement
  • bash — exécution de commandes shell
  • text_editor — lecture et écriture de fichiers

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Appels d’outils renvoyés

Le modèle émet des blocs d’utilisation d’outils tels que :

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Types d’actions

  • screenshot — prendre une capture d’écran et la renvoyer
  • left_click {coordinate: [x, y]} — cliquer
  • type {text: "hello"} — saisir du texte
  • key {text: "Return"} — appuyer sur une touche
  • mouse_move {coordinate: [x, y]}
  • scroll {coordinate: [...], scroll_direction: "down"}

Vous construisez l’exécuteur

Anthropic fournit la DEFINITION de l’outil ; vous en implémentez l’exécution. Généralement avec Playwright, X11 ou un bureau sans interface graphique dans Docker :

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Bac à sable obligatoire

Computer Use permet au modèle de cliquer ANYWHERE. Exécutez-le dans une VM isolée (Docker + Xvfb + un navigateur sans interface graphique) — jamais sur votre ordinateur portable.

Image Docker de référence d’Anthropic

Anthropic fournit une image Docker de référence qui regroupe Xvfb, Firefox, un environnement de bureau et l’exécuteur. C’est un excellent point de départ.

Vitesse et coût

  • Chaque étape prend de 1 à 5 secondes (capture d’écran + LLM + action)
  • Chaque capture d’écran ajoute des jetons au contexte
  • Les longs processus peuvent coûter de 0,50 $ à 5 $ par exécution

Modes d’échec

  • Éléments mal cliqués (écart de 10 px)
  • Blocage sur des fenêtres contextuelles ou des bannières de cookies
  • La page n’est pas encore chargée (attendez !)
  • CAPTCHA

OpenAI Operator

OpenAI a lancé un produit similaire (Operator) — même concept, implémentation différente. Les deux présentent de légères différences, mais des capacités similaires.

Cas d’utilisation

  • Remplissage de formulaires dans des applications intranet anciennes
  • Automatisation des tests sur plusieurs navigateurs
  • Tests exploratoires d’assurance qualité
  • Assistant « utilisez n’importe quelle application Web pour moi »

Outils de Computer Use

Quels outils le Computer Use d’Anthropic expose-t-il au modèle ?

Récapitulatif

Le Computer Use d’Anthropic permet à Claude de piloter un bureau. Vous implémentez la capture d’écran, le clic et la saisie avec Playwright ou X11. Exécutez-le uniquement dans un bac à sable. C’est lent, mais flexible.

Questions Fréquemment Posées

La leçon « Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use) » est-elle gratuite ?

Oui — le texte complet de « Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use) » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours AI Agents, passe à CoddyKit PRO. Le cours AI Agents comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use) » ?

Anthropic Computer Use expose la capture d’écran, la souris et le clavier comme outils pour Claude. Tu pratiques AI Agents avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer AI Agents ?

Aucune expérience préalable n'est requise. AI Agents sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.

Combien de temps prend la leçon « Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use) » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon AI Agents ?

Oui. Chaque leçon AI Agents inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

  1. Automatisation du navigateur avec Playwright
  2. Modèles de vision pour comprendre l’écran
  3. Modèles d’utilisation de l’ordinateur (Anthropic Computer-Use)
  4. Construire un agent fiable pour remplir des formulaires
← Retour à AI Agents