AIシステムの可観測性とモニタリング
モデル性能ダッシュボード、データドリフトのアラート、フィードバックループ、シャドーモードデプロイメントについて学習します。
「AIシステムの可観測性とモニタリング」はCoddyKit上の無料Learn AI with Pythonレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはLearn AI with Python学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Learn AI with Pythonコースには全4レッスンが含まれています。
MLシステムを監視する理由
モデルをデプロイしたら終わりではありません。トラフィックが急増し、レイテンシーが徐々に上がり、環境の変化によってデータがトレーニング時のものからずれていくことがあります。オブザーバビリティにより、ユーザーが問題を感じる前に、システムが正常か、モデルが依然として正確かを把握できます。
2種類の監視
MLのオブザーバビリティは、次の2つの層を対象とします。
- 運用：レイテンシー、スループット、エラー、リソース使用量（一般的なサービスと同様）
- モデル：データドリフト、予測分布、時間経過に伴う正確性（ML固有）
メトリクス用のPrometheus
Prometheusは、時系列メトリクスを収集する標準的なシステムです。サービスがメトリクスエンドポイントを公開し、Prometheusが一定間隔でそこから値を取得して、クエリやアラートに利用できるよう保存します。
レイテンシーの計測
Prometheusのヒストグラムを使って推論レイテンシーを記録します。ヒストグラムを使うと、誤解を招きやすい平均値ではなく、レイテンシーを要約する適切な方法であるパーセンタイルを計算できます。
from prometheus_client import Histogram
INFER_LATENCY = Histogram(
"inference_latency_seconds",
"Model inference latency",
)
@INFER_LATENCY.time()
def predict(x):
return model(x)P50とP95のレイテンシー
レイテンシーはパーセンタイルで報告します。P50（中央値）は一般的な利用体験を表し、P95はリクエストの5%が超える、遅い側の裾を表します。平均値では一部の遅いリクエストが隠れてしまいますが、P95を監視すれば、ユーザーに影響する問題を検出できます。
Grafanaダッシュボード
GrafanaはPrometheusのメトリクスをライブダッシュボードとして可視化します。モデルのダッシュボードには通常、リクエスト率、エラー率、P50/P95レイテンシー、予測分布が1つの画面に表示され、正常性をひと目で確認できます。
データドリフトとは
データドリフトは、実際の入力分布がトレーニング時の分布から離れていくと発生します。モデルは古いパターンに合わせて学習されているため、入力がドリフトすると、コードを変更していなくても精度が気付かないうちに低下します。
母集団安定性指標
母集団安定性指標（PSI）は、現在の特徴量の分布とトレーニング時の分布を比較することで、ドリフトを定量化します。両方の分布をビンに分け、各ビンの重み付き対数比を合計します。
# PSI = sum over bins of
# (actual_pct - expected_pct) * ln(actual_pct / expected_pct)PSIの解釈
一般的なPSIのしきい値：
- PSI < 0.1：有意なドリフトはありません
- 0.1～0.2：中程度のドリフトです。調査が必要です
- PSI > 0.2：重大なドリフトです。モデルの再学習が必要になる可能性が高いです
PSIが0.2を超えたときにアラートを出すのは、一般的な運用方法です。
フィードバックループ
最も価値のある監視シグナルは、実際の結果です。フィードバックループは、ユーザーによる訂正や正解ラベル（例：推薦がクリックされたか、不正利用のフラグが正しかったか）を収集し、新しいトレーニングデータとして再びモデルに反映します。
再学習によるループの完結
ドリフト検知とフィードバックループを組み合わせることで、再学習を開始できます。PSIがしきい値を超えた場合や、新しい正解ラベルに対する精度が低下した場合、パイプラインは最新のデータで再学習し、再デプロイします。これにより、変化する現実にモデルを適合させ続けられます。
クイックチェック
可観測性に関する知識を確認しましょう。
まとめ
AIシステムの可観測性と監視について学びました：
- Prometheusはメトリクスを収集します。推論レイテンシはP50/P95として報告します
- Grafanaのダッシュボードを使うと、システムの状態をひと目で可視化できます
- データドリフトはPSIで測定します。PSI > 0.2の場合は再学習が必要です
- フィードバックループによって、ユーザーの訂正を再学習用データに変換できます
よくある質問
「AIシステムの可観測性とモニタリング」レッスンは無料ですか？
はい。「AIシステムの可観測性とモニタリング」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Learn AI with Pythonコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Learn AI with Pythonコースには全4レッスンが含まれています。
「AIシステムの可観測性とモニタリング」で何を学びますか？
モデル性能ダッシュボード、データドリフトのアラート、フィードバックループ、シャドーモードデプロイメントについて学習します。 ブラウザで直接実行するハンズオンコードでLearn AI with Pythonを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
Learn AI with Pythonを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのLearn AI with Pythonは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「AIシステムの可観測性とモニタリング」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このLearn AI with Pythonレッスンでコードを書いて実行できますか？
はい。すべてのLearn AI with Pythonレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- AIシステムのアーキテクチャパターン
- AirflowによるスケーラブルなMLパイプライン
- 特徴量ストア：FeastとTecton
- AIシステムの可観測性とモニタリング