Mengevaluasi Kinerja Model

Mengevaluasi kinerja model pembelajaran mesin sangat penting untuk memastikan keefektifannya. Kita menggunakan metrik seperti akurasi, presisi, sensitivitas, dan skor F1 untuk masalah klasifikasi.

Akurasi

Akurasi mengukur rasio contoh yang diprediksi dengan benar terhadap jumlah seluruh contoh:

Accuracy = (True Positives + True Negatives) / Total Instances

Meskipun berguna, akurasi saja mungkin tidak cukup untuk kumpulan data yang tidak seimbang.

Presisi

Presisi berfokus pada ketepatan prediksi positif:

Precision = True Positives / (True Positives + False Positives)

Presisi yang tinggi berarti lebih sedikit positif palsu.

Sensitivitas

Sensitivitas mengukur kemampuan model untuk mengidentifikasi semua contoh positif dengan benar:

Recall = True Positives / (True Positives + False Negatives)

Sensitivitas yang tinggi berarti lebih sedikit negatif palsu.

Skor F1

Skor F1 adalah rata-rata harmonis dari presisi dan sensitivitas:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Skor ini menyeimbangkan presisi dan sensitivitas, terutama berguna untuk kumpulan data yang tidak seimbang.

Menggunakan scikit-learn untuk Metrik

Scikit-learn menyediakan fungsi untuk menghitung metrik tersebut:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matriks Konfusi

Matriks konfusi memberikan gambaran terperinci tentang kinerja model:

• Positif Benar (TP): Prediksi positif yang benar.
• Positif Palsu (FP): Prediksi positif yang salah.
• Negatif Benar (TN): Prediksi negatif yang benar.
• Negatif Palsu (FN): Prediksi negatif yang salah.

Memilih Metrik yang Tepat

Pemilihan metrik bergantung pada masalahnya:

• Akurasi: Bekerja dengan baik pada kumpulan data yang seimbang.
• Presisi: Penting ketika positif palsu menimbulkan biaya besar.
• Sensitivitas: Sangat penting ketika negatif palsu menimbulkan biaya besar.
• Skor F1: Metrik yang seimbang untuk kumpulan data yang tidak seimbang.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita membahas:

• Metrik untuk mengevaluasi kinerja model: akurasi, presisi, sensitivitas, dan skor F1.
• Cara menghitung metrik tersebut menggunakan scikit-learn.
• Cara menafsirkan matriks konfusi.

Selanjutnya, kita akan mempelajari metode pembelajaran tak terawasi seperti pengelompokan.