Menilai Prestasi Model

Menilai Prestasi Model

Menilai prestasi model pembelajaran mesin adalah penting untuk memastikan keberkesanannya. Kami menggunakan metrik seperti ketepatan, kejituan, capaian semula dan skor F1 untuk masalah pengelasan.

Ketepatan mengukur nisbah kejadian yang diramal dengan betul berbanding jumlah keseluruhan kejadian:

Accuracy = (True Positives + True Negatives) / Total Instances

Walaupun berguna, ketepatan sahaja mungkin tidak mencukupi untuk set data yang tidak seimbang.

Kejituan menumpukan pada ketepatan ramalan positif:

Precision = True Positives / (True Positives + False Positives)

Kejituan yang tinggi bermaksud bilangan positif palsu lebih sedikit.

Capaian semula mengukur keupayaan model untuk mengenal pasti semua kejadian positif dengan betul:

Recall = True Positives / (True Positives + False Negatives)

Capaian semula yang tinggi bermaksud bilangan negatif palsu lebih sedikit.

Skor F1 ialah min harmonik bagi kejituan dan capaian semula:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Skor ini mengimbangi kejituan dan capaian semula, dan amat berguna untuk set data yang tidak seimbang.

Scikit-learn menyediakan fungsi untuk mengira metrik ini:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matriks kekeliruan memberikan gambaran terperinci tentang prestasi model:

• Positif Benar (TP): Ramalan positif yang betul.
• Positif Palsu (FP): Ramalan positif yang salah.
• Negatif Benar (TN): Ramalan negatif yang betul.
• Negatif Palsu (FN): Ramalan negatif yang salah.

Pemilihan metrik bergantung pada masalah:

• Ketepatan: Berfungsi dengan baik pada set data yang seimbang.
• Kejituan: Penting apabila positif palsu membawa kos yang tinggi.
• Capaian Semula: Amat penting apabila negatif palsu membawa kos yang tinggi.
• Skor F1: Metrik seimbang untuk set data yang tidak seimbang.

Dalam pelajaran ini, kami membincangkan:

• Metrik untuk menilai prestasi model: ketepatan, kejituan, capaian semula dan skor F1.
• Cara mengira metrik ini menggunakan scikit-learn.
• Cara mentafsir matriks kekeliruan.

Seterusnya, kami akan meneroka kaedah pembelajaran tanpa seliaan seperti pengelompokan.