Ejen AI · Pelajaran

Corak Penggunaan Komputer (Anthropic Computer-Use)

Computer Use Anthropic mendedahkan tangkapan skrin, tetikus dan papan kekunci sebagai alat kepada Claude.

Pelajaran 3 daripada 415 langkah

Corak Penggunaan Komputer (Anthropic Computer-Use) ialah pelajaran Ejen AI percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Ejen AI, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.

Sebahagian daripada pelajaran ini belum diterjemahkan dan dipaparkan dalam bahasa Inggeris.

Apakah Penggunaan Komputer?

Keupayaan "Computer Use" Anthropic (dalam Claude 3.5+) mendedahkan tangkapan skrin, tetikus dan papan kekunci sebagai alat. Model boleh mengawal desktop maya dari awal hingga akhir.

Set Alat

Tiga alat teras:

computer — tangkapan skrin, klik, menaip, menatal
bash — menjalankan perintah shell
text_editor — membaca/menulis fail

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

Panggilan Alat yang Dikembalikan

Model mengeluarkan blok tool_use seperti:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

Jenis Tindakan

screenshot — take and return a screenshot
left_click {coordinate: [x, y]} — click
type {text: "hello"} — type text
key {text: "Return"} — press a key
mouse_move {coordinate: [x, y]}
scroll {coordinate: [...], scroll_direction: "down"}

Anda Membina Pelaksana

Anthropic menyediakan DEFINITION alat; Anda melaksanakan pelaksanaannya. Biasanya melalui Playwright, X11 atau desktop tanpa kepala dalam Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

Kotak Pasir Diperlukan

Computer Use membolehkan model mengklik ANYWHERE. Jalankannya dalam VM berkotak pasir (Docker + Xvfb + pelayar tanpa kepala) — jangan sekali-kali pada komputer riba Anda.

Imej Docker Rujukan Anthropic

Anthropic menyediakan imej Docker rujukan yang menggabungkan Xvfb, Firefox, persekitaran desktop dan pelaksana. Ini titik permulaan yang baik.

Kelajuan dan Kos

Setiap langkah mengambil masa 1-5 saat (tangkapan skrin + LLM + tindakan)
Setiap tangkapan skrin menambah token kepada konteks
Aliran kerja yang panjang boleh menelan kos $0.50 - $5 bagi setiap pelaksanaan

Mod Kegagalan

Elemen tersalah klik (tersasar sebanyak 10px)
Tersekat pada tetingkap timbul/spanduk kuki
Halaman masih belum dimuatkan (tunggu!)
Captcha

Operator OpenAI

OpenAI melancarkan produk yang serupa (Operator) — konsep yang sama dengan pelaksanaan yang berbeza. Kedua-duanya mempunyai perbezaan kecil tetapi keupayaan yang serupa.

Kes Penggunaan

Mengisi borang dalam aplikasi intranet legasi
Automasi ujian merentas berbilang pelayar
Ujian penerokaan QA
Pembantu "gunakan sebarang aplikasi web untuk saya"

Alat Penggunaan Komputer

Apakah alat yang didedahkan oleh Computer Use Anthropic kepada model?

Jawab dalam pelajaran interaktif

Rumusan

Computer Use Anthropic membolehkan Claude mengawal desktop. Anda melaksanakan tangkapan skrin/klik/menaip melalui Playwright atau X11. Jalankan hanya dalam kotak pasir. Perlahan tetapi fleksibel.

Percuma untuk bermula

Pelajari Ejen AI dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus: 60
Pelajaran: 239

Mula belajar secara percuma Lihat kursus penuh

Soalan Lazim

Adakah pelajaran “Corak Penggunaan Komputer (Anthropic Computer-Use)” percuma?

Ya — teks penuh “Corak Penggunaan Komputer (Anthropic Computer-Use)” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Ejen AI, tingkat taraf kepada CoddyKit PRO. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Corak Penggunaan Komputer (Anthropic Computer-Use)”?

Computer Use Anthropic mendedahkan tangkapan skrin, tetikus dan papan kekunci sebagai alat kepada Claude. Anda berlatih Ejen AI menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan Ejen AI?

Tiada pengalaman terdahulu diperlukan. Pembelajaran Ejen AI di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Corak Penggunaan Komputer (Anthropic Computer-Use)” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran Ejen AI ini?

Ya. Setiap pelajaran Ejen AI menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

Automasi Pelayar dengan Playwright
Model Penglihatan untuk Memahami Skrin
Corak Penggunaan Komputer (Anthropic Computer-Use)
Membina Ejen Pengisian Borang yang Boleh Dipercayai

← Kembali ke Ejen AI