AI Agents · Pelajaran

Pola Penggunaan Komputer (Anthropic Computer-Use)

Computer Use dari Anthropic menyediakan tangkapan layar, tetikus, dan papan ketik sebagai alat untuk Claude.

Pola Penggunaan Komputer (Anthropic Computer-Use) adalah pelajaran AI Agents gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Agents, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Agents mencakup 4 pelajaran total.

Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.

Apa Itu Penggunaan Komputer?

Kemampuan "Computer Use" milik Anthropic (dalam Claude 3.5+) menyediakan tangkapan layar, tetikus, dan papan ketik sebagai alat. Model dapat mengendalikan desktop virtual dari awal hingga akhir.

Kumpulan Alat

Tiga alat inti:

computer — tangkapan layar, klik, mengetik, menggulir
bash — menjalankan perintah shell
text_editor — membaca/menulis file

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Pemanggilan Alat yang Dikembalikan

Model menghasilkan blok pemanggilan alat seperti ini:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Jenis Tindakan

screenshot — mengambil dan mengembalikan tangkapan layar
left_click {coordinate: [x, y]} — mengeklik
type {text: "hello"} — mengetik teks
key {text: "Return"} — menekan sebuah tombol
mouse_move {coordinate: [x, y]}
scroll {coordinate: [...], scroll_direction: "down"}

Anda Membangun Eksekutor

Anthropic menyediakan DEFINITION alat; Anda menerapkan eksekusinya. Biasanya melalui Playwright, X11, atau desktop tanpa antarmuka dalam Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Lingkungan Terisolasi Diperlukan

Computer Use memungkinkan model mengeklik di ANYWHERE. Jalankan dalam VM yang diisolasi (Docker + Xvfb + peramban tanpa antarmuka) — jangan pernah di laptop Anda.

Citra Docker Referensi Anthropic

Anthropic menyediakan citra Docker referensi yang menyertakan Xvfb, Firefox, lingkungan desktop, dan eksekutor. Ini adalah titik awal yang bagus.

Kecepatan dan Biaya

Setiap langkah memerlukan 1–5 detik (tangkapan layar + LLM + tindakan)
Setiap tangkapan layar menambahkan token ke konteks
Alur kerja panjang dapat berbiaya $0.50–$5 per proses

Mode Kegagalan

Elemen salah klik (meleset 10 piksel)
Terjebak pada popup/banner cookie
Halaman belum dimuat (tunggu!)
Captcha

Operator OpenAI

OpenAI meluncurkan produk serupa (Operator) — konsepnya sama, implementasinya berbeda. Keduanya memiliki sedikit perbedaan, tetapi kemampuan yang serupa.

Kasus Penggunaan

Mengisi formulir pada aplikasi intranet lawas
Otomatisasi pengujian di berbagai peramban
Pengujian eksploratif QA
Asisten "gunakan aplikasi web apa pun untuk saya"

Alat Penggunaan Komputer

Alat apa yang disediakan Computer Use milik Anthropic untuk model?

Ringkasan

Computer Use milik Anthropic memungkinkan Claude mengendalikan desktop. Anda menerapkan tangkapan layar/klik/ketik melalui Playwright atau X11. Jalankan hanya dalam lingkungan terisolasi. Lambat, tetapi fleksibel.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Pola Penggunaan Komputer (Anthropic Computer-Use)” gratis?

Ya — teks lengkap “Pola Penggunaan Komputer (Anthropic Computer-Use)” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Agents, upgrade ke CoddyKit PRO. Kursus AI Agents mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Pola Penggunaan Komputer (Anthropic Computer-Use)”?

Computer Use dari Anthropic menyediakan tangkapan layar, tetikus, dan papan ketik sebagai alat untuk Claude. Kamu berlatih AI Agents dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai AI Agents?

Tidak diperlukan pengalaman sebelumnya. AI Agents di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “Pola Penggunaan Komputer (Anthropic Computer-Use)” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Agents ini?

Ya. Setiap pelajaran AI Agents menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

Otomatisasi Peramban dengan Playwright
Model Visi untuk Memahami Layar
Pola Penggunaan Komputer (Anthropic Computer-Use)
Membangun Agen Pengisian Formulir yang Andal

← Kembali ke AI Agents