モデルの性能評価

機械学習モデルの性能を評価することは、その有効性を確認するうえで重要です。分類問題では、正解率、適合率、再現率、F1スコアなどの指標を使用します。

正解率

正解率は、正しく予測できたインスタンス数を全インスタンス数で割った比率です。

Accuracy = (True Positives + True Negatives) / Total Instances

正解率は便利ですが、不均衡データセットでは正解率だけでは不十分な場合があります。

適合率

適合率は、陽性と予測した結果がどれだけ正しいかに注目する指標です。

Precision = True Positives / (True Positives + False Positives)

適合率が高いほど、偽陽性が少ないことを意味します。

再現率

再現率は、すべての陽性インスタンスを正しく識別するモデルの能力を測定します。

Recall = True Positives / (True Positives + False Negatives)

再現率が高いほど、偽陰性が少ないことを意味します。

F1スコア

F1スコアは、適合率と再現率の調和平均です。

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

適合率と再現率のバランスを示す指標で、特に不均衡データセットで役立ちます。

scikit-learnで評価指標を使用する

scikit-learnには、次の評価指標を計算するための関数が用意されています。

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

混同行列

混同行列を使用すると、モデルの性能を詳しく確認できます。

• 真陽性（TP）：正しい陽性予測です。
• 偽陽性（FP）：誤った陽性予測です。
• 真陰性（TN）：正しい陰性予測です。
• 偽陰性（FN）：誤った陰性予測です。

適切な評価指標の選択

選択する評価指標は、問題によって異なります。

• 正解率：クラスのバランスが取れたデータセットで効果的です。
• 適合率：偽陽性が大きなコストにつながる場合に重要です。
• 再現率：偽陰性が大きなコストにつながる場合に重要です。
• F1スコア：不均衡なデータセットに適したバランスの取れた評価指標です。

まとめと次のステップ

このレッスンでは、次の内容を学びました。

• モデルの性能を評価するための評価指標である、正解率、適合率、再現率、F1スコアについて学びました。
• scikit-learnを使ってこれらの評価指標を計算する方法を学びました。
• 混同行列の解釈方法を学びました。

次は、クラスタリングなどの教師なし学習手法について学びます。