しきい値と指標を選ぶ
重視するクラスに合わせて最適化する
「しきい値と指標を選ぶ」はCoddyKit上の無料NLP Academyレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはNLP Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 NLP Academyコースには全4レッスンが含まれています。
隠れたしきい値
分類器は確率を出力し、その後しきい値によってラベルに変換します。希少なクラスでは、デフォルトの0.5が最適になることはほとんどありません。
境界線を動かす
しきい値を下げると、より多くの項目が希少なクラスとして判定されます。その分、真のケースを多く検出できますが、誤警報も増えます。
まず確率を取得する
しきい値を調整するには、ラベルだけでなくスコアが必要です。モデルに陽性クラスの予測確率を出力させてください。
proba = clf.predict_proba(X_test)[:, 1]適合率と再現率のどちらか
どちらの損失が大きいかを判断します。希少なケースの見逃しが問題なら再現率を最適化し、誤警報が多すぎるなら適合率を重視します。
F1で両方のバランスを取る
どちらか一方を選べない場合、F1スコアを使います。これは適合率と再現率を1つの、最大化する価値のある数値にまとめたものです。
PR曲線
偏ったデータでは、適合率-再現率曲線のほうがROC曲線よりも実態をはるかによく表します。
しきい値を変えて試す
複数のしきい値を試し、トレードオフがどのように変化するかを確認します。PR曲線には、適合率と再現率のすべての組み合わせが一度に示されます。
from sklearn.metrics import precision_recall_curve
p, r, t = precision_recall_curve(y, proba)選んだしきい値を適用する
値を選んだら、各確率とその値を比較します。境界線より上は陽性クラス、下は陰性クラスになります。
preds = (proba >= 0.3).astype(int)ROC AUCに注意する
ROC AUCは、適合率が低くても大きく不均衡なデータ上では高く見えることがあります。そのため、この場面では単独で信頼しないでください。
検証データで調整する
しきい値は、分離しておいた検証セットで選び、テストセットでは決して選ばないでください。そうしないと、報告する数値が実態を反映しなくなります。
指標は目的を映す
適切な指標は、現実のコストを反映します。ビジネス上の目標に応じて適合率、再現率、F1のどれを使うかを決め、その指標に合わせて調整してください。🎯
クイックチェック
しきい値についての理解を確認しましょう。
まとめ
検証データでしきい値を調整し、正解率よりも適合率、再現率、F1を重視してください。偏りのあるデータではPR曲線を信頼します。✅
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「しきい値と指標を選ぶ」レッスンは無料ですか？
はい。「しきい値と指標を選ぶ」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、NLP Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 NLP Academyコースには全4レッスンが含まれています。
「しきい値と指標を選ぶ」で何を学びますか？
重視するクラスに合わせて最適化する ブラウザで直接実行するハンズオンコードでNLP Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
NLP Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのNLP Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「しきい値と指標を選ぶ」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このNLP Academyレッスンでコードを書いて実行できますか？
はい。すべてのNLP Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。