AI Agents · Урок

Шаблоны использования компьютера (Anthropic Computer-Use)

Computer Use от Anthropic предоставляет Claude снимок экрана, мышь и клавиатуру в качестве инструментов

«Шаблоны использования компьютера (Anthropic Computer-Use)» — бесплатный урок AI Agents на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения AI Agents, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс AI Agents содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Что такое компьютерное управление?

Возможность «Computer Use» от Anthropic (в Claude 3.5 и более новых версиях) предоставляет снимок экрана, мышь и клавиатуру в качестве инструментов. Модель может полностью управлять виртуальным рабочим столом.

Набор инструментов

Три основных инструмента:

computer — снимок экрана, щелчок, ввод текста, прокрутка
bash — выполнение команд оболочки
text_editor — чтение и запись файлов

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Возвращаемые вызовы инструментов

Модель выдаёт блоки tool_use, например:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Типы действий

screenshot — сделать и вернуть снимок экрана
left_click {coordinate: [x, y]} — щёлкнуть
type {text: "hello"} — ввести текст
key {text: "Return"} — нажать клавишу
mouse_move {coordinate: [x, y]}
scroll {coordinate: [...], scroll_direction: "down"}

Вы создаёте исполнитель

Anthropic предоставляет DEFINITION инструмента, а вы реализуете его выполнение. Обычно это делается через Playwright, X11 или безграфический рабочий стол в Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Требуется песочница

Computer Use позволяет модели нажимать ANYWHERE. Запускайте его в изолированной VM (Docker + Xvfb + безграфический браузер) — никогда не на своём ноутбуке.

Эталонный образ Docker от Anthropic

Anthropic предоставляет эталонный образ Docker, включающий Xvfb, Firefox, рабочую среду и исполнитель. Это отличная отправная точка.

Скорость и стоимость

Каждый Step занимает 1–5 секунд (снимок экрана + LLM + действие)
Каждый снимок экрана добавляет токены в контекст
Длительные сценарии могут стоить от 0,50 до 5 долларов за запуск

Сценарии отказа

Щелчки мимо элементов (ошибка до 10 пикселей)
Зависание на всплывающих окнах и баннерах cookie
Страница ещё не загрузилась (подождите!)
Капчи

OpenAI Operator

OpenAI выпустила похожий продукт Operator — та же концепция, другая реализация. У обоих есть небольшие различия, но возможности схожи.

Варианты использования

Заполнение форм в устаревших интранет-приложениях
Автоматизация тестов в нескольких браузерах
Исследовательское тестирование QA
Помощник «используйте любое веб-приложение за меня»

Инструменты компьютерного управления

Какие инструменты Computer Use от Anthropic предоставляет модели?

Итоги

Computer Use от Anthropic позволяет Claude управлять рабочим столом. Вы реализуете действия со снимком экрана, щелчком и вводом текста через Playwright или X11. Запускайте это только в песочнице. Медленно, но гибко.

Часто задаваемые вопросы

Урок «Шаблоны использования компьютера (Anthropic Computer-Use)» бесплатный?

Да — полный текст урока «Шаблоны использования компьютера (Anthropic Computer-Use)» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс AI Agents, подпишись на CoddyKit PRO. Курс AI Agents содержит 4 уроков всего.

Чему я научусь в уроке «Шаблоны использования компьютера (Anthropic Computer-Use)»?

Computer Use от Anthropic предоставляет Claude снимок экрана, мышь и клавиатуру в качестве инструментов Ты практикуешь AI Agents с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать AI Agents?

Предыдущий опыт не требуется. AI Agents на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Шаблоны использования компьютера (Anthropic Computer-Use)»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке AI Agents?

Да. Каждый урок AI Agents включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

Автоматизация браузера с Playwright
Модели компьютерного зрения для понимания экрана
Шаблоны использования компьютера (Anthropic Computer-Use)
Создание надёжного агента для заполнения форм

← Назад к AI Agents