AI Agents · บทเรียน

รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)

Anthropic Computer Use เปิดให้ Claude ใช้ภาพหน้าจอ เมาส์ และแป้นพิมพ์เป็นเครื่องมือ

รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use) เป็นบทเรียน AI Agents ฟรีบน CoddyKit นี่คือบทเรียนที่ 3 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Agents และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน

บางส่วนของบทเรียนนี้ยังไม่ได้รับการแปล และแสดงเป็นภาษาอังกฤษ

Computer Use คืออะไร

ความสามารถ "Computer Use" ของ Anthropic (ใน Claude 3.5 ขึ้นไป) เปิดให้ใช้ภาพหน้าจอ เมาส์ และแป้นพิมพ์เป็นเครื่องมือ โมเดลจึงควบคุมเดสก์ท็อปเสมือนได้ตั้งแต่ต้นจนจบ

ชุดเครื่องมือ

เครื่องมือหลักสามรายการ:

computer — ถ่ายภาพหน้าจอ คลิก พิมพ์ และเลื่อน
bash — เรียกใช้คำสั่งเชลล์
text_editor — อ่านและเขียนไฟล์

Quickstart

from anthropic import Anthropic
client = Anthropic()

response = client.beta.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=4096,
    tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1280, 'display_height_px': 720}],
    messages=[{'role': 'user', 'content': 'Open Firefox and search for the weather.'}]
)

ผลลัพธ์ที่ส่งกลับจากการเรียกใช้เครื่องมือ

โมเดลจะส่งบล็อก tool_use ในลักษณะดังนี้:

{
    'type': 'tool_use',
    'name': 'computer',
    'input': {
        'action': 'screenshot'  # or 'left_click', 'type', 'mouse_move'
    }
}

ประเภทการกระทำ

screenshot — ถ่ายและส่งภาพหน้าจอกลับมา
left_click {coordinate: [x, y]} — คลิก
type {text: "hello"} — พิมพ์ข้อความ
key {text: "Return"} — กดปุ่ม
mouse_move {coordinate: [x, y]}
scroll {coordinate: [...], scroll_direction: "down"}

คุณสร้างตัวดำเนินการเอง

Anthropic มี DEFINITION ของเครื่องมือให้ แต่คุณต้องพัฒนาการดำเนินการเอง โดยทั่วไปจะใช้ Playwright, X11 หรือเดสก์ท็อปแบบไม่มีหน้าจอใน Docker:

from playwright.sync_api import sync_playwright
p = sync_playwright().start()
browser = p.chromium.launch()
page = browser.new_page(viewport={'width': 1280, 'height': 720})

def execute(action_input):
    action = action_input['action']
    if action == 'screenshot':
        return page.screenshot()
    if action == 'left_click':
        x, y = action_input['coordinate']
        page.mouse.click(x, y)
        return page.screenshot()
    if action == 'type':
        page.keyboard.type(action_input['text'])
        return page.screenshot()
    # ... etc.

Returning the Result

tool_result_content = [
    {'type': 'image', 'source': {'type': 'base64', 'media_type': 'image/png', 'data': screenshot_b64}}
]

messages.append({
    'role': 'user',
    'content': [{
        'type': 'tool_result',
        'tool_use_id': tc.id,
        'content': tool_result_content
    }]
})

ต้องใช้แซนด์บ็อกซ์

Computer Use ทำให้โมเดลคลิกได้ ANYWHERE ให้เรียกใช้ใน VM ที่อยู่ในแซนด์บ็อกซ์ (Docker + Xvfb + เบราว์เซอร์แบบไม่มีหน้าจอ) — ห้ามเรียกใช้บนแล็ปท็อปของคุณ

อิมเมจ Docker อ้างอิงของ Anthropic

Anthropic มีอิมเมจ Docker อ้างอิงที่รวม Xvfb, Firefox สภาพแวดล้อมเดสก์ท็อป และตัวดำเนินการไว้ให้แล้ว เหมาะสำหรับใช้เป็นจุดเริ่มต้น

ความเร็วและต้นทุน

แต่ละขั้นตอนใช้เวลา 1–5 วินาที (ภาพหน้าจอ + LLM + การกระทำ)
ภาพหน้าจอแต่ละภาพจะเพิ่ม tokens ให้กับบริบท
เวิร์กโฟลว์ที่ยาวอาจมีต้นทุน 0.50–5 ดอลลาร์สหรัฐต่อการทำงานหนึ่งครั้ง

รูปแบบความล้มเหลว

คลิกองค์ประกอบผิด (คลาดเคลื่อน 10 พิกเซล)
ติดอยู่กับป๊อปอัปหรือแบนเนอร์คุกกี้
หน้ายังโหลดไม่เสร็จ (รอก่อน)
แคปชาท์

OpenAI Operator

OpenAI เปิดตัวผลิตภัณฑ์ที่คล้ายกันชื่อ Operator ซึ่งใช้แนวคิดเดียวกันแต่มีการพัฒนาต่างกัน ทั้งสองมีรายละเอียดแตกต่างกันเล็กน้อย แต่มีความสามารถใกล้เคียงกัน

กรณีการใช้งาน

กรอกแบบฟอร์มในแอปอินทราเน็ตรุ่นเก่า
ทำการทดสอบอัตโนมัติบนเบราว์เซอร์หลายตัว
การทดสอบเชิงสำรวจสำหรับ QA
ผู้ช่วยที่ "ใช้เว็บแอปใดก็ได้แทนฉัน"

เครื่องมือ Computer Use

ความสามารถ Computer Use ของ Anthropic เปิดเผยเครื่องมือใดให้โมเดลใช้งานบ้าง

สรุปทบทวน

Computer Use ของ Anthropic ช่วยให้ Claude ควบคุมเดสก์ท็อปได้ คุณต้องพัฒนาการถ่ายภาพหน้าจอ การคลิก และการพิมพ์ผ่าน Playwright หรือ X11 เรียกใช้เฉพาะในแซนด์บ็อกซ์เท่านั้น แม้จะช้าแต่ยืดหยุ่น

คำถามที่พบบ่อย

บทเรียน “รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Agents ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)”

Anthropic Computer Use เปิดให้ Claude ใช้ภาพหน้าจอ เมาส์ และแป้นพิมพ์เป็นเครื่องมือ คุณปฏิบัติ AI Agents ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Agents หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Agents บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 3 จากทั้งหมด 4 บทเรียน

บทเรียน “รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน AI Agents นี้ได้ไหม

ได้ บทเรียน AI Agents ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

การทำงานอัตโนมัติบนเบราว์เซอร์ด้วย Playwright
โมเดลการมองเห็นเพื่อทำความเข้าใจหน้าจอ
รูปแบบการใช้งานคอมพิวเตอร์ (Anthropic Computer-Use)
การสร้างเอเจนต์กรอกแบบฟอร์มที่เชื่อถือได้

← กลับไปที่ AI Agents