0Pricing
AI Agents · Lección

Patrones de uso del ordenador (Anthropic Computer-Use)

Computer Use de Anthropic expone la captura de pantalla, el ratón y el teclado como herramientas para Claude.

Patrones de uso del ordenador (Anthropic Computer-Use) es una lección gratuita de AI Agents en CoddyKit. Esta es la lección 3 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de AI Agents, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de AI Agents incluye 4 lecciones en total.

Partes de esta lección aún no han sido traducidas y se muestran en inglés.

¿Qué es Computer Use?

La capacidad «Computer Use» de Anthropic (en Claude 3.5+) expone la captura de pantalla, el ratón y el teclado como herramientas. El modelo puede controlar un escritorio virtual de principio a fin.

El conjunto de herramientas

Tres herramientas principales:

  • computer — captura de pantalla, hacer clic, escribir y desplazarse
  • bash — ejecutar comandos del shell
  • text_editor — leer y escribir archivos

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Llamadas de herramientas devueltas

El modelo emite bloques tool_use como:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Tipos de acciones

  • screenshot — tomar y devolver una captura de pantalla
  • left_click {coordinate: [x, y]} — hacer clic
  • type {text: "hello"} — escribir texto
  • key {text: "Return"} — pulsar una tecla
  • mouse_move {coordinate: [x, y]}
  • scroll {coordinate: [...], scroll_direction: "down"}

Usted crea el ejecutor

Anthropic proporciona la DEFINICIÓN de la herramienta; usted implementa la ejecución. Normalmente mediante Playwright, X11 o un escritorio sin interfaz gráfica en Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Se requiere un entorno aislado

Computer Use permite que el modelo haga clic EN CUALQUIER PARTE. Ejecútelo en una máquina virtual aislada (Docker + Xvfb + un navegador sin interfaz gráfica); nunca en su portátil.

Imagen Docker de referencia de Anthropic

Anthropic proporciona una imagen Docker de referencia que incluye Xvfb, Firefox, un entorno de escritorio y el ejecutor. Es un excelente punto de partida.

Velocidad y coste

  • Cada paso tarda entre 1 y 5 segundos (captura de pantalla + LLM + acción)
  • Cada captura de pantalla añade tokens al contexto
  • Los flujos de trabajo largos pueden costar entre 0,50 $ y 5 $ por ejecución

Modos de fallo

  • Elementos pulsados por error (desviación de 10 px)
  • Quedarse atascado en ventanas emergentes o banners de cookies
  • La página aún no se ha cargado (¡espere!)
  • CAPTCHA

OpenAI Operator

OpenAI lanzó un producto similar (Operator): el mismo concepto, con una implementación diferente. Ambos presentan pequeñas diferencias, pero capacidades similares.

Casos de uso

  • Rellenar formularios en aplicaciones de intranet antiguas
  • Automatización de pruebas en varios navegadores
  • Pruebas exploratorias de control de calidad
  • Asistente para «usar cualquier aplicación web por mí»

Herramientas de Computer Use

¿Qué herramientas de Computer Use de Anthropic se exponen al modelo?

Repaso

Computer Use de Anthropic permite que Claude controle un escritorio. Usted implementa las acciones de captura de pantalla, clic y escritura mediante Playwright o X11. Ejecútelo únicamente en un entorno aislado. Es lento, pero flexible.

Preguntas frecuentes

¿La lección «Patrones de uso del ordenador (Anthropic Computer-Use)» es gratis?

Sí — el texto completo de «Patrones de uso del ordenador (Anthropic Computer-Use)» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de AI Agents, actualiza a CoddyKit PRO. El curso de AI Agents incluye 4 lecciones en total.

¿Qué aprenderé en «Patrones de uso del ordenador (Anthropic Computer-Use)»?

Computer Use de Anthropic expone la captura de pantalla, el ratón y el teclado como herramientas para Claude. Practicas AI Agents con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.

¿Necesito experiencia previa para empezar AI Agents?

No se requiere experiencia previa. AI Agents en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 3 de 4.

¿Cuánto tiempo toma la lección «Patrones de uso del ordenador (Anthropic Computer-Use)»?

La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.

¿Puedo escribir y ejecutar código en esta lección de AI Agents?

Sí. Cada lección de AI Agents incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.

Todas las lecciones de este curso

  1. Automatización del navegador con Playwright
  2. Modelos de visión para comprender la pantalla
  3. Patrones de uso del ordenador (Anthropic Computer-Use)
  4. Construcción de un agente fiable para rellenar formularios
← Volver a AI Agents