モデル性能の評価

機械学習モデルの性能を評価することは、その有効性を確認するうえで重要です。分類問題では、正解率、適合率、再現率、F1スコアなどの指標を使用します。

正解率

正解率は、正しく予測できたインスタンス数の全インスタンス数に対する割合を測定します。

Accuracy = (True Positives + True Negatives) / Total Instances

正解率は便利な指標ですが、不均衡データセットでは正解率だけでは不十分な場合があります。

適合率

適合率は、陽性と予測した結果の正確さに重点を置く指標です。

Precision = True Positives / (True Positives + False Positives)

適合率が高いほど、偽陽性が少ないことを意味します。

再現率

再現率は、すべての陽性インスタンスを正しく識別するモデルの能力を測定します。

Recall = True Positives / (True Positives + False Negatives)

再現率が高いほど、偽陰性が少ないことを意味します。

F1スコア

F1スコアは、適合率と再現率の調和平均です。

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

適合率と再現率のバランスを取る指標であり、特に不均衡データセットで役立ちます。

scikit-learnによる指標の利用

scikit-learnには、これらの指標を計算するための関数が用意されています。

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

混同行列

混同行列を使用すると、モデルの性能を詳細に確認できます。

• 真陽性（TP）：正しい陽性予測です。
• 偽陽性（FP）：誤った陽性予測です。
• 真陰性（TN）：正しい陰性予測です。
• 偽陰性（FN）：誤った陰性予測です。

適切な指標の選択

選択すべき指標は、問題によって異なります。

• 正解率：データセットのクラスが均衡している場合に適しています。
• 適合率：偽陽性のコストが高い場合に重要です。
• 再現率：偽陰性のコストが高い場合に不可欠です。
• F1スコア：不均衡データセットに適したバランスの取れた指標です。

まとめと次のステップ

このレッスンでは、次の内容を扱いました。

• モデル性能の評価指標（正解率、適合率、再現率、F1スコア）
• scikit-learnを使用したこれらの指標の計算方法
• 混同行列の解釈方法

次は、クラスタリングなどの教師なし学習手法について学びます。