Padrões de uso do computador (Anthropic Computer-Use)
O Computer Use da Anthropic disponibiliza captura de tela, mouse e teclado como ferramentas para o Claude.
Padrões de uso do computador (Anthropic Computer-Use) é uma aula grátis de AI Agents no CoddyKit. Esta é a aula 3 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de AI Agents, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de AI Agents inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
O Que é Computer Use?
O recurso "Computer Use" da Anthropic (no Claude 3.5+) expõe a captura de tela, o mouse e o teclado como ferramentas. O modelo pode controlar uma área de trabalho virtual de ponta a ponta.
O Conjunto de Ferramentas
Três ferramentas principais:
computer— captura de tela, clique, digitação, rolagembash— executar comandos do shelltext_editor— ler/gravar arquivos
Quickstart
from anthropic import Anthropic
client = Anthropic()
response = client.beta.messages.create(
model='claude-sonnet-4-5',
max_tokens=4096,
tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)Chamadas de Ferramentas Retornadas
O modelo emite blocos tool_use como:
{
'type': 'tool_use',
'name': 'computer',
'input': {
'action': 'screenshot' # or 'left_click', 'type', 'mouse_move'
}
}Tipos de Ação
screenshot— fazer e retornar uma captura de telaleft_click {coordinate: [x, y]}— clicartype {text: "hello"}— digitar textokey {text: "Return"}— pressionar uma teclamouse_move {coordinate: [x, y]}scroll {coordinate: [...], scroll_direction: "down"}
Você Cria o Executor
A Anthropic fornece a DEFINITION da ferramenta; você implementa a execução. Normalmente, por meio de Playwright, X11 ou uma área de trabalho sem interface gráfica em Docker:
from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})
def execute(action_input):
action = action_input['action']
if action == 'screenshot':
return page.screenshot()
if action == 'left_click':
x, y = action_input['coordinate']
page.mouse.click(x, y)
return page.screenshot()
if action == 'type':
page.keyboard.type(action_input['text'])
return page.screenshot()
# ... etc.Returning the Result
tool_result_content = [
{'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]
messages.append({
'role': 'user',
'content': [{
'type': 'tool_result',
'tool_use_id': tc.id,
'content': tool_result_content
}]
})É Necessário um Ambiente Isolado
Computer Use permite que o modelo clique ANYWHERE. Execute-o em uma VM isolada (Docker + Xvfb + um navegador sem interface gráfica) — nunca no seu laptop.
Imagem Docker de Referência da Anthropic
A Anthropic fornece uma imagem Docker de referência que reúne Xvfb, Firefox, um ambiente de trabalho e o executor. É um ótimo ponto de partida.
Velocidade e Custo
- Cada etapa leva de 1 a 5 segundos (captura de tela + LLM + ação)
- Cada captura de tela adiciona tokens ao contexto
- Fluxos de trabalho longos podem custar de US$ 0,50 a US$ 5 por execução
Modos de Falha
- Elementos clicados incorretamente (erro de 10 px)
- Ficar preso em pop-ups/banners de cookies
- A página ainda não foi carregada (aguarde!)
- CAPTCHAs
OpenAI Operator
A OpenAI lançou um produto semelhante (Operator) — o mesmo conceito, com uma implementação diferente. Ambos têm pequenas diferenças, mas capacidades semelhantes.
Casos de Uso
- Preenchimento de formulários em aplicativos de intranet legados
- Automação de testes em vários navegadores
- Testes exploratórios de QA
- Assistente "use qualquer aplicativo web por mim"
Ferramentas do Computer Use
Quais ferramentas o Computer Use da Anthropic expõe ao modelo?
Recapitulação
O Computer Use da Anthropic permite que Claude controle uma área de trabalho. Você implementa captura de tela/clique/digitação por meio de Playwright ou X11. Execute-o somente em um ambiente isolado. É lento, mas flexível.
Perguntas Frequentes
A aula “Padrões de uso do computador (Anthropic Computer-Use)” é grátis?
Sim — o texto completo de “Padrões de uso do computador (Anthropic Computer-Use)” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de AI Agents, atualize para CoddyKit PRO. O curso de AI Agents inclui 4 aulas no total.
O que vou aprender em “Padrões de uso do computador (Anthropic Computer-Use)”?
O Computer Use da Anthropic disponibiliza captura de tela, mouse e teclado como ferramentas para o Claude. Você pratica AI Agents com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar AI Agents?
Nenhuma experiência prévia é necessária. AI Agents no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 3 de 4.
Quanto tempo leva a aula “Padrões de uso do computador (Anthropic Computer-Use)”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de AI Agents?
Sim. Cada aula de AI Agents inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Automação de navegador com Playwright
- Modelos de visão para compreensão de telas
- Padrões de uso do computador (Anthropic Computer-Use)
- Construindo um agente confiável para preencher formulários