แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง
ส่งการแจ้งเตือนก่อนผู้ใช้จะได้รับผลกระทบ
แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง เป็นบทเรียน MLOps Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน MLOps Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
แดชบอร์ดไม่แจ้งเตือนคุณ
แดชบอร์ดมีประโยชน์เมื่อมีคนกำลังดูเท่านั้น การแจ้งเตือนจะเฝ้าดูตัวชี้วัดตลอดเวลาและติดต่อคุณทันทีที่มีบางอย่างขัดข้อง 🚨
แจ้งเตือนก่อนผู้ใช้จะรู้สึกได้
เป้าหมายคือให้แจ้งเตือนก่อนที่ผู้ใช้จะสังเกตเห็น ตรวจจับเวลาแฝงหรือข้อผิดพลาดที่ค่อย ๆ เพิ่มขึ้นขณะที่ยังมีเวลาตอบสนอง
กฎการแจ้งเตือน
กฎการแจ้งเตือนคือ expression ของ PromQL พร้อมเงื่อนไข เมื่อ expression เป็นจริงนานพอ การแจ้งเตือนจะเริ่มทำงาน
แจ้งเตือนเมื่อเวลาแฝงสูง
เฝ้าดูเวลาแฝง p99 และแจ้งเตือนเมื่อข้ามขีดจำกัด เช่น ครึ่งวินาที ซึ่งบ่งชี้ว่าโมเดลทำงานช้าเกินไป
histogram_quantile(0.99, rate(predict_seconds_bucket[5m])) > 0.5แจ้งเตือนเมื่อข้อผิดพลาดพุ่งสูง
แจ้งเตือนเมื่ออัตราส่วนข้อผิดพลาดเพิ่มขึ้นเกินสัดส่วนเล็กน้อย เช่น มีคำขอล้มเหลวห้าเปอร์เซ็นต์ในช่วงไม่กี่นาทีที่ผ่านมา
rate(errors_total[5m]) / rate(predictions_total[5m]) > 0.05กำหนดระยะเวลาใน for
ส่วนคำสั่ง for กำหนดให้เงื่อนไขเป็นจริงต่อเนื่องเป็นระยะเวลาหนึ่งก่อนแจ้งเตือน เพื่อไม่ให้เหตุการณ์ผิดปกติเพียงหนึ่งวินาทีปลุกใครขึ้นมา
- alert: HighLatency
expr: histogram_quantile(0.99, rate(predict_seconds_bucket[5m])) > 0.5
for: 5mกำหนดระดับความรุนแรง
แนบป้ายกำกับ เช่นระดับความรุนแรงให้กับแต่ละกฎ ป้ายกำกับเหล่านี้ช่วยให้คุณส่งการแจ้งเตือนวิกฤตไปคนละช่องทางกับคำเตือนที่มีความสำคัญต่ำได้
labels:
severity: criticalเพิ่มคำอธิบายประกอบที่เป็นประโยชน์
ใช้คำอธิบายประกอบเพื่อเขียนสรุปที่ชัดเจนและลิงก์ไปยังคู่มือปฏิบัติ เพื่อให้ผู้ที่ได้รับการแจ้งเตือนทราบว่าอะไรขัดข้องและควรทำอย่างไร
annotations:
summary: "p99 latency above 500ms on model-api"Alertmanager จัดการเส้นทางให้
Prometheus เป็นผู้ตัดสินใจว่าจะส่งการแจ้งเตือนเมื่อใด แต่ Alertmanager จัดการการส่ง การจัดกลุ่ม และการปิดเสียงการแจ้งเตือนเหล่านั้น
ส่งไปยังที่ที่คนเห็น
ส่งการแจ้งเตือนไปยังผู้รับที่มีคนติดตามจริง เช่น Slack หรือ PagerDuty แทนการส่งไปยังกล่องจดหมายที่ไม่มีใครอ่าน
receivers:
- name: oncall
slack_configs:
- channel: "#ml-alerts"ลดเสียงรบกวน
สัญญาณเตือนผิดพลาดมากเกินไปทำให้เกิดความล้าจากการแจ้งเตือนและผู้คนจะเลิกอ่าน ปรับเกณฑ์และระยะเวลาให้เหมาะสม จนการแจ้งเตือนทุกครั้งมีความสำคัญพอที่จะปลุกให้ตื่น
ตรวจสอบอย่างรวดเร็ว
คุณต้องการการแจ้งเตือนที่ไม่สนใจการแกว่งชั่วครู่ และจะแจ้งเตือนเฉพาะเมื่อปัญหาเกิดต่อเนื่องเท่านั้น สิ่งใดช่วยให้ทำเช่นนั้นได้
สรุปทบทวน
คุณเขียนกฎการแจ้งเตือนด้วย PromQL สำหรับเวลาแฝงและการพุ่งขึ้นของข้อผิดพลาด ใช้ระยะเวลา for เพื่อข้ามการแกว่งชั่วครู่ และส่งการแจ้งเตือนที่เกิดขึ้นผ่าน Alertmanager ไปยังผู้คน ✅
คำถามที่พบบ่อย
บทเรียน “แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส MLOps Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง”
ส่งการแจ้งเตือนก่อนผู้ใช้จะได้รับผลกระทบ คุณปฏิบัติ MLOps Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน MLOps Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน MLOps Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน MLOps Academy นี้ได้ไหม
ได้ บทเรียน MLOps Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- บันทึกผลพยากรณ์แบบมีโครงสร้าง
- เปิดเผยเมตริกด้วย Prometheus
- สร้างแดชบอร์ด Grafana
- แจ้งเตือนเมื่อเวลาแฝงและข้อผิดพลาดพุ่งสูง