0Pricing
MLOps Academy · レッスン

レイテンシーとエラーの急増を検知する

ユーザーが問題を感じる前にアラートを発生させます。

「レイテンシーとエラーの急増を検知する」はCoddyKit上の無料MLOps Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはMLOps Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 MLOps Academyコースには全4レッスンが含まれています。

ダッシュボードは通知してくれない

ダッシュボードは誰かが見ているときにしか役立ちません。Alertsはメトリクスを24時間監視し、問題が発生した瞬間に知らせてくれます。🚨

ユーザーが気づく前にアラートする

目標は、ユーザーが気づく前に通知することです。まだ対応する時間があるうちに、レイテンシーやエラーの緩やかな増加を検出します。

アラートルール

alert ruleは、PromQL式と条件を組み合わせたものです。式が一定時間にわたってtrueになると、アラートが発火します。

高レイテンシーでアラートする

p99レイテンシーを監視し、0.5秒などのthresholdを超えたときに、モデルの処理が遅すぎることを示すアラートを発火します。

histogram_quantile(0.99, rate(predict_seconds_bucket[5m])) > 0.5

エラー急増でアラートする

過去数分間にリクエストの5%が失敗した場合のように、error ratioが小さな割合を超えたときに発火させます。

rate(errors_total[5m]) / rate(predictions_total[5m]) > 0.05

For durationを使う

for句を使うと、発火する前に条件が一定期間継続することを要求できます。これにより、1秒だけ発生した変動で誰かが呼び出されることを防げます。

- alert: HighLatency
  expr: histogram_quantile(0.99, rate(predict_seconds_bucket[5m])) > 0.5
  for: 5m

重大度のラベルを付ける

各ルールに重要度などのラベルを付けます。これにより、重大なページ通知と優先度の低い警告を別々に振り分けられます。

labels:
  severity: critical

役立つアノテーションを追加する

アノテーションを使って概要と手順書へのリンクを明確に記述します。そうすれば、ページ通知を受け取った人が何が壊れたのか、何をすべきかを把握できます。

annotations:
  summary: "p99 latency above 500ms on model-api"

Alertmanagerで振り分ける

Prometheusはいつアラートを発火するかを判断しますが、Alertmanagerはそのアラートの配信、グループ化、抑制を担当します。

人が確認できる場所へ送る

アラートは、誰も読まない受信トレイではなく、SlackやPagerDutyなど、実際に人が確認するreceiverへ振り分けます。

receivers:
  - name: oncall
    slack_configs:
      - channel: "#ml-alerts"

ノイズを減らす

誤報が多すぎるとアラート疲れが起こり、人はアラートを読まなくなります。しきい値と継続時間を調整し、どのページ通知にも起きて対応する価値がある状態にします。

クイックチェック

一時的な急変は無視し、問題が継続した場合だけ発火するアラートが必要です。何を設定すればよいでしょうか？

まとめ

レイテンシーとエラーの急増に対するPromQLアラートルールを作成し、forの継続時間で一時的な急変を無視し、発火したアラートをAlertmanager経由で人に届けました。✅

よくある質問

「レイテンシーとエラーの急増を検知する」レッスンは無料ですか？

はい。「レイテンシーとエラーの急増を検知する」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、MLOps Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 MLOps Academyコースには全4レッスンが含まれています。

「レイテンシーとエラーの急増を検知する」で何を学びますか？

ユーザーが問題を感じる前にアラートを発生させます。 ブラウザで直接実行するハンズオンコードでMLOps Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

MLOps Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのMLOps Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。

「レイテンシーとエラーの急増を検知する」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このMLOps Academyレッスンでコードを書いて実行できますか？

はい。すべてのMLOps Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. 予測用の構造化ログ
  2. Prometheusでメトリクスを公開する
  3. Grafanaダッシュボードを構築する
  4. レイテンシーとエラーの急増を検知する
← MLOps Academyに戻る