เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย
เอเจนต์เรียกใช้ LLM และเครื่องมือหลายครั้งต่อคำขอ หากไม่มีร่องรอย คุณจะไม่เห็นภาพการทำงานที่แท้จริง
เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย เป็นบทเรียน AI Agents ฟรีบน CoddyKit นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Agents และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน
บางส่วนของบทเรียนนี้ยังไม่ได้รับการแปล และแสดงเป็นภาษาอังกฤษ
การแก้จุดบกพร่องของเอเจนต์ทำได้ยาก
ข้อความเดียวจากผู้ใช้อาจทำให้เกิดการเรียกใช้ LLM 10 ครั้ง การเรียกใช้เครื่องมือ 5 ครั้ง และเวลาแฝง 30 วินาที เมื่อเกิดข้อผิดพลาดขึ้น คำพูดว่า "เอเจนต์ให้คำตอบแปลก ๆ" ไม่ได้บอกอะไรเลย
การติดตามร่องรอยคือวิธีที่ทำให้คุณเห็นว่าเกิดอะไรขึ้นจริง
สิ่งที่การติดตามร่องรอยบันทึก
สำหรับคำขอหนึ่งรายการจากผู้ใช้
- การเรียกใช้ LLM ทุกครั้ง: โมเดล ข้อความที่ส่งเข้า คำตอบที่ส่งออก โทเค็น และเวลาแฝง
- การเรียกใช้เครื่องมือทุกครั้ง: ชื่อ อาร์กิวเมนต์ ผลลัพธ์ และข้อผิดพลาด
- ลำดับและเวลาของทุกขั้นตอน
- คำตอบสุดท้ายที่ผู้ใช้มองเห็น
บันทึกอย่างเดียวไม่เพียงพอ
บันทึกธรรมดา (คำสั่ง print) สูญเสียโครงสร้างของการติดตามร่องรอยไป คุณไม่สามารถบอกได้ว่าการเรียกใช้ LLM ใดเป็นของคำขอผู้ใช้รายการใด หรือแต่ละขั้นตอนเชื่อมโยงกันเป็นต้นไม้อย่างไร
เครื่องมือติดตามแบบมีโครงสร้างช่วยแก้ปัญหานี้
span เทียบกับการติดตามร่องรอย
แนวคิดนี้ยืมมาจาก OpenTelemetry
- การติดตามร่องรอย — การทำงานของเอเจนต์ทั้งหมด (คำขอหนึ่งรายการจากผู้ใช้)
- span — ขั้นตอนหนึ่งภายในการติดตามร่องรอย (การเรียกใช้ LLM การเรียกใช้เครื่องมือ หรือการดึงข้อมูล)
- span มีรายการแม่ ซึ่งก่อให้เกิดเป็นต้นไม้
A Concrete Trace Tree
Trace: user asks 'What is our return policy?'
|-- Span: retrieve_docs (12 ms)
|-- Span: llm_call_planner (820 ms)
| |-- tool_call: search_kb
|-- Span: tool_call: search_kb (340 ms)
|-- Span: llm_call_synthesise (1100 ms)
Total: 2.3 s, 8400 tokens, $0.012เหตุใดการติดตามร่องรอยจึงดีกว่าบันทึก
- โครงสร้างต้นไม้แสดงความสัมพันธ์ระหว่างแม่กับลูก
- แผนภาพเวลาแบบน้ำตกเผยให้เห็นขั้นตอนที่ช้า
- โทเค็นและค่าใช้จ่ายถูกรวมแยกตามการติดตามร่องรอย
- เล่นซ้ำ: เรียกใช้การติดตามร่องรอยอีกครั้งด้วยพรอมป์ต์ใหม่เพื่อทดสอบการเปลี่ยนแปลง
เมื่อใดควรเพิ่มการติดตามร่องรอย
ตั้งแต่วันแรก การติดตามร่องรอยระหว่างการพัฒนาจะเปิดเผยข้อบกพร่องที่คุณอาจไม่สังเกตเห็นจากการแก้ปัญหาผ่านแชตเพียงอย่างเดียว หากเพิ่มหลังจากเกิดเหตุขัดข้องในระบบใช้งานจริงก็สายเกินไป
ความเป็นส่วนตัวและการติดตามร่องรอย
การติดตามร่องรอยมีข้อมูลผู้ใช้ ควรจัดการเช่นเดียวกับบันทึก
- ปิดบัง PII ก่อนส่งออก
- เข้ารหัสขณะจัดเก็บ
- ปฏิบัติตามนโยบายการเก็บรักษาข้อมูล
การติดตามร่องรอยเทียบกับการประเมิน
การติดตามร่องรอย = "เกิดอะไรขึ้นในการทำงานครั้งนี้" การประเมิน = "เอเจนต์ทำงานได้ดีเพียงใดกับชุดทดสอบ" คุณต้องมีทั้งสองอย่าง แต่การติดตามร่องรอยต้องมาก่อน เพราะคุณไม่สามารถประเมินสิ่งที่ตรวจสอบไม่ได้
ต้นทุนของการติดตามร่องรอย
การติดตามร่องรอยเพิ่มเวลาแฝง 1-2% และเพิ่มพื้นที่จัดเก็บ สำหรับเอเจนต์ที่มีการโต้ตอบมาก ให้สุ่มเก็บตัวอย่าง (เช่น เก็บการติดตามร่องรอยทั้งหมดอย่างละเอียด 10% และเก็บข้อผิดพลาด 100%) แทนการบันทึกทุกอย่าง
การติดตั้งเครื่องมือด้วยตนเองเทียบกับอัตโนมัติ
เฟรมเวิร์กบางรายการ (LangChain, LlamaIndex) ติดตั้งเครื่องมือโดยอัตโนมัติ ทำให้คุณได้การติดตามร่องรอยโดยไม่ต้องทำอะไรเพิ่ม สำหรับโค้ดที่เขียนเอง ให้ครอบการเรียกใช้ LLM และเครื่องมือด้วยตัวช่วย span
ID การติดตามในข้อผิดพลาดที่ผู้ใช้เห็น
เมื่อเอเจนต์ทำงานล้มเหลว ให้ส่ง ID การติดตามกลับไปยังผู้ใช้
"เกิดข้อผิดพลาดบางอย่าง รหัสอ้างอิง: trace-9c4a... โปรดแสดงรหัสนี้แก่ฝ่ายสนับสนุน"
ฝ่ายสนับสนุนสามารถเปิดการติดตามร่องรอยและดูได้อย่างชัดเจนว่าเกิดอะไรขึ้น
เหตุใดจึงต้องติดตามร่องรอย
เหตุใดการติดตามแบบมีโครงสร้างจึงดีกว่าการ logging ด้วยคำสั่ง print ธรรมดาสำหรับเอเจนต์
สรุปทบทวน
การติดตามร่องรอยเป็นสิ่งที่ขาดไม่ได้ ควรสร้างไว้ตั้งแต่วันแรก บทเรียนถัดไปจะครอบคลุมสิ่งที่ควรบันทึกและเครื่องมือที่ควรใช้
คำถามที่พบบ่อย
บทเรียน “เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Agents ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย”
เอเจนต์เรียกใช้ LLM และเครื่องมือหลายครั้งต่อคำขอ หากไม่มีร่องรอย คุณจะไม่เห็นภาพการทำงานที่แท้จริง คุณปฏิบัติ AI Agents ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Agents หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Agents บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน
บทเรียน “เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน AI Agents นี้ได้ไหม
ได้ บทเรียน AI Agents ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- เหตุใดเอเจนต์จึงต้องมีการติดตามร่องรอย
- การบันทึกการเรียกใช้เครื่องมือและข้อมูลเข้า/ออก
- เวลาแฝงและต้นทุนในแต่ละขั้นตอน
- การแสดงการทำงานของเอเจนต์ด้วยภาพ (Langfuse, LangSmith)