Mengevaluasi Kinerja Model

Mengevaluasi kinerja model pembelajaran mesin sangat penting untuk memastikan efektivitasnya. Kita menggunakan metrik seperti akurasi, presisi, sensitivitas, dan score F1 untuk masalah klasifikasi.

Akurasi

Akurasi mengukur rasio sampel yang diprediksi dengan benar terhadap jumlah total sampel:

Accuracy = (True Positives + True Negatives) / Total Instances

Meskipun bermanfaat, akurasi saja mungkin tidak cukup untuk kumpulan data yang tidak seimbang.

Presisi

Presisi berfokus pada ketepatan prediksi positif:

Precision = True Positives / (True Positives + False Positives)

Presisi yang tinggi berarti lebih sedikit positif palsu.

Sensitivitas

Sensitivitas mengukur kemampuan model untuk mengidentifikasi semua sampel positif dengan benar:

Recall = True Positives / (True Positives + False Negatives)

Sensitivitas yang tinggi berarti lebih sedikit negatif palsu.

Score F1

Score F1 adalah rata-rata harmonis dari presisi dan sensitivitas:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Metrik ini menyeimbangkan presisi dan sensitivitas, terutama berguna untuk kumpulan data yang tidak seimbang.

Menggunakan scikit-learn untuk Metrik

Scikit-learn menyediakan fungsi untuk menghitung metrik berikut:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matriks Konfusi

Matriks konfusi memberikan gambaran terperinci tentang kinerja model:

• Positif Benar (TP): Prediksi positif yang benar.
• Positif Palsu (FP): Prediksi positif yang salah.
• Negatif Benar (TN): Prediksi negatif yang benar.
• Negatif Palsu (FN): Prediksi negatif yang salah.

Memilih Metrik yang Tepat

Pemilihan metrik bergantung pada masalahnya:

• Akurasi: Bekerja dengan baik pada kumpulan data yang seimbang.
• Presisi: Penting ketika dampak positif palsu besar.
• Sensitivitas: Sangat penting ketika dampak negatif palsu besar.
• Skor F1: Metrik yang seimbang untuk kumpulan data yang tidak seimbang.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita membahas:

• Metrik untuk mengevaluasi kinerja model: akurasi, presisi, sensitivitas, dan skor F1.
• Cara menghitung metrik tersebut menggunakan scikit-learn.
• Cara menafsirkan matriks konfusi.

Selanjutnya, kita akan mempelajari metode pembelajaran tanpa pengawasan seperti pengelompokan.