セグメントとコホート別にメトリクスを分ける
モデルの性能がひそかに低下している場所を見つけます。
「セグメントとコホート別にメトリクスを分ける」はCoddyKit上の無料MLOps Academyレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはMLOps Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 MLOps Academyコースには全4レッスンが含まれています。
平均値は真実を隠す
全体の正解率が95%のモデルでも、あるグループでは大きく失敗することがあります。平均値は、性能が低い部分を隠してしまいます。🕵️
スライスとは
スライスとは、地域、デバイスの種類、年齢層、商品カテゴリなど、ある特徴を共有するデータの部分集合です。
セグメントとコホート
セグメントは、国などの特徴量の値でグループ化したものです。コホートは、昨年3月に登録したユーザーのように、時間上の共通イベントでグループ化したものです。
スライスごとに指標を計算する
正解率を1つだけ計算するのではなく、スライスごとに指標を計算して比較します。pandasのgroupbyを使えば、すぐに実行できます。
logs.groupby("country").apply(
lambda g: accuracy_score(g.label, g.pred)
)弱いスライスを見つける
あるスライスのスコアが他より大幅に低ければ、全体指標がひそかに覆い隠していた弱点を見つけたことになります。
小さすぎるスライスに注意する
サンプル数が非常に少ないスライスでは、指標が不安定になります。その値を信頼する前に最小サイズを設定してください。
スライスでバイアスを明らかにする
センシティブなグループ間でスライスを比較すると、ある人口統計グループへの予測が一貫して悪いといった公平性の差が明らかになります。
ドリフトもスライスごとに見る
ドリフトは、最初に1つのスライスだけに発生することがあります。セグメントごとのドリフトを追跡すれば、変化が全体に広がる前にモバイルユーザーの変化を検出できます。
探索を自動化する
スライスを手作業で確認する方法は、規模を拡大できません。スライス検出ツールなら、多数の部分集合を調べ、性能が最も低いものにフラグを付けてくれます。
時間経過によるコホート
数週間にわたってコホートを追跡すると、新しいユーザーの行動が以前のユーザーと異なるにつれて、モデルの性能が新しいユーザーに対して低下しているかどうかが分かります。
洞察を行動につなげる
悪いスライスは修正方法を示します。データを増やす、特徴量を追加する、またはそのグループ専用のセグメント特化型モデルを学習するといった方法です。
クイックチェック
指標をスライスする本当の理由を選んでみましょう。
まとめ
セグメントとコホートごとに指標を分解すると、平均値では隠れてしまう弱点、公平性の差、初期のドリフトを見つけられます。✅
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「セグメントとコホート別にメトリクスを分ける」レッスンは無料ですか？
はい。「セグメントとコホート別にメトリクスを分ける」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、MLOps Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 MLOps Academyコースには全4レッスンが含まれています。
「セグメントとコホート別にメトリクスを分ける」で何を学びますか？
モデルの性能がひそかに低下している場所を見つけます。 ブラウザで直接実行するハンズオンコードでMLOps Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
MLOps Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのMLOps Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「セグメントとコホート別にメトリクスを分ける」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このMLOps Academyレッスンでコードを書いて実行できますか？
はい。すべてのMLOps Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- MLオブザーバビリティの4本柱
- 後で分析できるよう予測をログに記録する
- セグメントとコホート別にメトリクスを分ける
- SHAPで予測を説明する