勝者を昇格またはロールバックする
優れたモデルをリリースするか、問題なく元に戻します。
「勝者を昇格またはロールバックする」はCoddyKit上の無料MLOps Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはMLOps Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 MLOps Academyコースには全4レッスンが含まれています。
テスト終了
A/Bテストの全期間が終わり、結果が出ました。次は判断の段階です。challengerを昇格させるか、championに戻します。🚦
計画に照らして判断する
テスト前に書いた成功基準を確認します。challengerが勝つのは、主要指標でしきい値を上回り、かつどのガードレールも破らなかった場合だけです。
昇格とは本番投入のこと
モデルを昇格させるとは、そのモデルを新しいchampionにすることです。レジストリを使う場合は、通常、勝利したバージョンをProductionステージに移します。
レジストリ経由で昇格する
MLflowでは、1回の呼び出しで勝利したバージョンをProductionに切り替えられるため、サービング層がそのバージョンを利用できるようになります。
from mlflow import MlflowClient
client = MlflowClient()
client.transition_model_version_stage("fraud", version=7, stage="Production")一気にではなく段階的に増やす
明確な勝者であっても、慎重にロールアウトする価値があります。ライブ指標を確認しながら、トラフィックを10%から100%へ段階的に増やしてください。
ロールバックするタイミング
challengerが負けた場合、引き分けた場合、またはレイテンシの急増などのガードレールに抵触した場合はロールバックします。引き分けは勝利ではないため、安全策としてchampionを維持します。
ロールバックは即座に行える必要がある
適切なロールバックとは、トラフィックの向き先を旧バージョンに戻すだけです。championは登録されたままなので、再ビルドではなく数秒で復旧できるはずです。⏪
以前のchampionを残す
昇格した直後に以前のchampionを削除してはいけません。代わりにArchivedステージへ移して、いつでもすぐに戻せるようにします。
リリース後も監視する
昇格はゴールではありません。テスト終了後にトラフィックが最大になっても、実際の動作で予想外の問題が起きる可能性があるため、新しいchampionを監視し続けてください。
判断を記録する
判断者、指標、判定結果を記録します。この監査証跡があれば、なぜこのモデルを本番稼働させたのか、または元に戻したのかを後から正確に説明できます。
負けたテストにも勝ちがある
ロールバックは失敗ではありません。より悪いモデルからユーザーを守り、現実に役立つ学びを得ました。それこそが実験の目的です。✅
クイックチェック
結果が出た後に何をするか決めましょう。
まとめ
書面化した計画に基づいて判断します。明確に勝ち、ガードレールにも安全なモデルをレジストリ経由で昇格させ、段階的に拡大し、即時ロールバックに備えて以前のchampionを残します。🎯
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「勝者を昇格またはロールバックする」レッスンは無料ですか？
はい。「勝者を昇格またはロールバックする」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、MLOps Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 MLOps Academyコースには全4レッスンが含まれています。
「勝者を昇格またはロールバックする」で何を学びますか？
優れたモデルをリリースするか、問題なく元に戻します。 ブラウザで直接実行するハンズオンコードでMLOps Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
MLOps Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのMLOps Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「勝者を昇格またはロールバックする」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このMLOps Academyレッスンでコードを書いて実行できますか？
はい。すべてのMLOps Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- モデルバージョン間でトラフィックを分割する
- 重要なメトリクスを選ぶ
- 統計的有意性を正しく読み取る
- 勝者を昇格またはロールバックする