0Pricing
MLOps Academy · レッスン

MLオブザーバビリティの4本柱

データ、モデル、ドリフト、説明可能性をまとめて扱います。

「MLオブザーバビリティの4本柱」はCoddyKit上の無料MLOps Academyレッスンです。 これはレッスン1/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはMLOps Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 MLOps Academyコースには全4レッスンが含まれています。

単なる監視を超えて

監視はサービスが稼働していることを知らせます。オブザーバビリティがあれば、想定していなかった問いに対しても、モデルがなぜそのように振る舞うのかを調べられます。🔍

4つの柱

MLのオブザーバビリティは、入力されるデータ、モデルとその予測、時間経過によるドリフト、各出力の説明可能性という4つの柱に基づきます。

柱1：データ品質

最初の柱はデータ品質です。欠損値、壊れたスキーマ、通常とは異なる範囲の値がモデルに届く前に検出します。

柱2：モデルの性能

2つ目の柱はモデルの性能です。オフラインのテストセットだけでなく、実際の予測における正解率、適合率、ビジネス指標を追跡します。

柱3：ドリフト

3つ目の柱はドリフトです。現実の世界は変化するため、入力や入力から出力への関係は、学習時の状態と徐々に一致しなくなります。

柱4：説明可能性

4つ目の柱は説明可能性です。予測が間違っているように見えるとき、どの特徴量がその方向に影響したのかを確認する必要があります。

4つであって1つではない理由

それぞれの柱は、他の柱では見逃す障害を検出します。データがきれいでも目的変数がドリフトしていれば失敗するため、4つすべてを同時に監視します。

入力、出力、結果

優れた可観測性では、時間の経過に沿って3つの要素を関連付けます。モデルが見た入力、モデルが返した出力、そしてその後に生じた実際の結果です。

正解データの遅延

正解ラベルが届くまで数日かかることは珍しくありません。それまでは、問題の早期警告としてデータとドリフトのシグナルを頼りにします。

役立つツール

Evidentlyのようなライブラリには、データ品質、ドリフト、モデルのチェック用のレポートがあらかじめ用意されており、これらの柱をまとめて扱えます。

from evidently import Report
from evidently.presets import DataDriftPreset

report = Report(metrics=[DataDriftPreset()])
report.run(reference_data=ref, current_data=live)

共通の用語

チーム全体で同じ4つの柱を使って呼ぶようにすると、モデルの不具合のデバッグが当てずっぽうではなくチェックリストになります。

クイックチェック

症状を適切な柱に結び付けてみましょう。

まとめ

MLの可観測性は、4つの柱、つまりデータ品質、モデルの性能、ドリフト、説明可能性から成り立ちます。これらを組み合わせることで、何が壊れたのかだけでなく、その理由も明らかにできます。✅

よくある質問

「MLオブザーバビリティの4本柱」レッスンは無料ですか？

はい。「MLオブザーバビリティの4本柱」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、MLOps Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 MLOps Academyコースには全4レッスンが含まれています。

「MLオブザーバビリティの4本柱」で何を学びますか？

データ、モデル、ドリフト、説明可能性をまとめて扱います。 ブラウザで直接実行するハンズオンコードでMLOps Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

MLOps Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのMLOps Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン1/4です。

「MLオブザーバビリティの4本柱」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このMLOps Academyレッスンでコードを書いて実行できますか？

はい。すべてのMLOps Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. MLオブザーバビリティの4本柱
  2. 後で分析できるよう予測をログに記録する
  3. セグメントとコホート別にメトリクスを分ける
  4. SHAPで予測を説明する
← MLOps Academyに戻る