0Pricing
Learn AI with Python · บทเรียน

การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์

แดชบอร์ดประสิทธิภาพแบบจำลอง การแจ้งเตือนการเปลี่ยนแปลงของข้อมูล วงจรป้อนกลับ และการนำไปใช้งานในโหมดเงา

การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์ เป็นบทเรียน Learn AI with Python ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน Learn AI with Python และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส Learn AI with Python มีบทเรียนทั้งหมด 4 บทเรียน

เหตุผลที่ต้องตรวจติดตามระบบการเรียนรู้ของเครื่อง

โมเดลที่นำไปใช้งานแล้วไม่ได้หมายความว่างานเสร็จสิ้น ทราฟฟิกอาจเพิ่มขึ้นอย่างรวดเร็ว เวลาแฝงอาจสูงขึ้นทีละน้อย และโลกอาจเปลี่ยนแปลงจนข้อมูลเบี่ยงเบนไปจากข้อมูลฝึก การสังเกตการณ์ระบบ ช่วยบอกว่าระบบมีสุขภาพดีหรือไม่ และโมเดลยังคงแม่นยำอยู่หรือไม่ ก่อนที่ผู้ใช้จะได้รับผลกระทบ

การตรวจติดตามสองประเภท

การสังเกตการณ์ระบบการเรียนรู้ของเครื่องครอบคลุมสองชั้น:

  • ด้านการทำงานของระบบ: เวลาแฝง ปริมาณงาน ข้อผิดพลาด และการใช้ทรัพยากร เช่นเดียวกับบริการทั่วไป
  • ด้านโมเดล: การเบี่ยงเบนของข้อมูล การกระจายตัวของผลคาดการณ์ และความแม่นยำเมื่อเวลาผ่านไป ซึ่งเป็นเรื่องเฉพาะของการเรียนรู้ของเครื่อง

Prometheus สำหรับตัวชี้วัด

Prometheus คือระบบมาตรฐานสำหรับรวบรวมตัวชี้วัดแบบอนุกรมเวลา บริการของคุณเปิดเผยจุดปลายทางตัวชี้วัด ส่วน Prometheus จะดึงข้อมูลตามช่วงเวลาและจัดเก็บค่าเหล่านั้นไว้สำหรับการสืบค้นและการแจ้งเตือน

การวัดเวลาแฝง

คุณบันทึกเวลาแฝงของการอนุมานด้วยฮิสโตแกรมของ Prometheus ฮิสโตแกรมช่วยให้คำนวณค่าร้อยละได้ ซึ่งเป็นวิธีที่เหมาะสมในการสรุปเวลาแฝง แทนการใช้ค่าเฉลี่ยที่อาจทำให้เข้าใจผิด

from prometheus_client import Histogram

INFER_LATENCY = Histogram(
    "inference_latency_seconds",
    "Model inference latency",
)

@INFER_LATENCY.time()
def predict(x):
    return model(x)

เวลาแฝง P50 และ P95

รายงานเวลาแฝงในรูป ค่าร้อยละ โดย P50 (ค่ามัธยฐาน) แสดงประสบการณ์ทั่วไป ส่วน P95 แสดงช่วงที่ช้าที่สุด ซึ่งคำขอ 5% ใช้เวลาเกิน การติดตาม P95 ช่วยตรวจพบปัญหาที่ค่าเฉลี่ยอาจซ่อนไว้ เพราะคำขอที่ช้าเพียงไม่กี่รายการก็ยังส่งผลเสียต่อผู้ใช้

แดชบอร์ด Grafana

Grafana แสดงตัวชี้วัดของ Prometheus เป็นแดชบอร์ดแบบสด โดยทั่วไปแดชบอร์ดโมเดลจะแสดงอัตราคำขอ อัตราข้อผิดพลาด เวลาแฝง P50/P95 และการกระจายตัวของผลคาดการณ์ไว้ในหน้าจอเดียว เพื่อให้ดูสุขภาพของระบบได้อย่างรวดเร็ว

การเบี่ยงเบนของข้อมูลคืออะไร

การเบี่ยงเบนของข้อมูลเกิดขึ้นเมื่อการแจกแจงของข้อมูลนำเข้าจริงเปลี่ยนไปจากการแจกแจงของข้อมูลฝึก โมเดลถูก fit กับรูปแบบเก่า ดังนั้นเมื่อข้อมูลนำเข้าเบี่ยงเบน ความแม่นยำของโมเดลจะลดลงอย่างเงียบ ๆ แม้ไม่มีการเปลี่ยนแปลงโค้ดใด ๆ

ดัชนีเสถียรภาพของประชากร

ดัชนีเสถียรภาพของประชากร (PSI)ใช้วัดปริมาณการเบี่ยงเบน โดยเปรียบเทียบการแจกแจงของคุณลักษณะในปัจจุบันกับช่วงฝึกโมเดล จากนั้นแบ่งการแจกแจงทั้งสองออกเป็นช่วง ๆ แล้วหาผลรวมของอัตราส่วนลอการิทึมแบบถ่วงน้ำหนักในแต่ละช่วง

# PSI = sum over bins of
#   (actual_pct - expected_pct) * ln(actual_pct / expected_pct)

การตีความค่า PSI

เกณฑ์ค่า PSI ที่ใช้กันโดยทั่วไป:

  • PSI < 0.1: ไม่มีการเบี่ยงเบนที่มีนัยสำคัญ
  • 0.1 ถึง 0.2: การเบี่ยงเบนปานกลาง ควรตรวจสอบ
  • PSI > 0.2: การเบี่ยงเบนมีนัยสำคัญ โมเดลน่าจะต้องฝึกใหม่

การตั้งการแจ้งเตือนเมื่อ PSI เกิน 0.2 เป็นแนวทางที่ใช้กันทั่วไป

วงจรป้อนกลับ

สัญญาณจากการติดตามตรวจสอบที่มีค่ามากที่สุดคือผลลัพธ์จริง วงจรป้อนกลับจะรวบรวมการแก้ไขของผู้ใช้และป้ายกำกับค่าจริง (เช่น คำแนะนำถูกคลิกหรือไม่ หรือการแจ้งเตือนการฉ้อโกงถูกต้องหรือไม่) แล้วส่งข้อมูลเหล่านี้กลับมาเป็นข้อมูลฝึกชุดใหม่

ปิดวงจรด้วยการฝึกใหม่

การตรวจจับการเบี่ยงเบนและวงจรป้อนกลับจะทำงานร่วมกันเพื่อเรียกใช้ การฝึกใหม่: เมื่อ PSI เกินเกณฑ์ หรือความแม่นยำจากป้ายกำกับชุดใหม่ลดลง กระบวนการทำงานจะฝึกโมเดลใหม่ด้วยข้อมูลล่าสุดแล้วนำไปใช้งานอีกครั้ง วิธีนี้ช่วยให้โมเดลสอดคล้องกับโลกที่เปลี่ยนแปลงอยู่เสมอ

แบบทดสอบสั้น ๆ

ทดสอบความรู้เกี่ยวกับการสังเกตระบบของคุณ

ทบทวน

คุณได้เรียนรู้เรื่องการสังเกตและการติดตามตรวจสอบระบบปัญญาประดิษฐ์:

  • โพรมีธีอุสรวบรวมเมตริก โดยรายงานเวลาแฝงของการอนุมานเป็น P50/P95
  • แดชบอร์ดของกราฟานาช่วยแสดงภาพสถานะระบบโดยรวมได้อย่างรวดเร็ว
  • การเบี่ยงเบนของข้อมูลวัดด้วย PSI โดย PSI > 0.2 หมายความว่าควรฝึกโมเดลใหม่
  • วงจรป้อนกลับเปลี่ยนการแก้ไขของผู้ใช้ให้เป็นข้อมูลสำหรับการฝึกใหม่

คำถามที่พบบ่อย

บทเรียน “การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส Learn AI with Python ให้อัปเกรดเป็น CoddyKit PRO คอร์ส Learn AI with Python มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์”

แดชบอร์ดประสิทธิภาพแบบจำลอง การแจ้งเตือนการเปลี่ยนแปลงของข้อมูล วงจรป้อนกลับ และการนำไปใช้งานในโหมดเงา คุณปฏิบัติ Learn AI with Python ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน Learn AI with Python หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน Learn AI with Python บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน

บทเรียน “การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน Learn AI with Python นี้ได้ไหม

ได้ บทเรียน Learn AI with Python ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

  1. รูปแบบสถาปัตยกรรมระบบปัญญาประดิษฐ์
  2. ไปป์ไลน์แมชชีนเลิร์นนิงที่ปรับขนาดได้ด้วย Airflow
  3. คลังคุณลักษณะ: Feast และ Tecton
  4. การสังเกตการณ์และการติดตามระบบปัญญาประดิษฐ์
← กลับไปที่ Learn AI with Python