Model Performansını Değerlendirme

Bir makine öğrenmesi modelinin performansını değerlendirmek, modelin etkililiğini güvence altına almak için çok önemlidir. Sınıflandırma problemleri için doğruluk, kesinlik, duyarlılık ve F1 skoru gibi ölçütleri kullanırız.

Doğruluk

Doğruluk, doğru tahmin edilen örneklerin toplam örnek sayısına oranını ölçer:

Accuracy = (True Positives + True Negatives) / Total Instances

Doğruluk yararlı olsa da dengesiz veri kümeleri için tek başına yeterli olmayabilir.

Kesinlik

Kesinlik, pozitif tahminlerin doğruluğuna odaklanır:

Precision = True Positives / (True Positives + False Positives)

Yüksek kesinlik, daha az yanlış pozitif anlamına gelir.

Duyarlılık

Duyarlılık, modelin tüm pozitif örnekleri doğru şekilde belirleme yeteneğini ölçer:

Recall = True Positives / (True Positives + False Negatives)

Yüksek duyarlılık, daha az yanlış negatif anlamına gelir.

F1 Skoru

F1 skoru, kesinlik ve duyarlılığın harmonik ortalamasıdır:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Özellikle dengesiz veri kümelerinde kesinlik ile duyarlılık arasında denge sağlar.

Metrikler için scikit-learn Kullanımı

Scikit-learn, bu metrikleri hesaplamak için işlevler sağlar:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Karmaşıklık Matrisi

Karmaşıklık matrisi, modelin performansına ilişkin ayrıntılı bir görünüm sunar:

• Doğru Pozitifler (TP): Doğru pozitif tahminler.
• Yanlış Pozitifler (FP): Hatalı pozitif tahminler.
• Doğru Negatifler (TN): Doğru negatif tahminler.
• Yanlış Negatifler (FN): Hatalı negatif tahminler.

Doğru Metrik Seçimi

Metrik seçimi probleme bağlıdır:

• Doğruluk: Dengeli veri kümelerinde iyi sonuç verir.
• Kesinlik: Yanlış pozitiflerin maliyetli olduğu durumlarda önemlidir.
• Duyarlılık: Yanlış negatiflerin maliyetli olduğu durumlarda kritik öneme sahiptir.
• F1 Skoru: Dengesiz veri kümeleri için dengeli bir metriktir.

Özet ve Sonraki Adımlar

Bu derste şunları ele aldık:

• Model performansını değerlendirmeye yönelik metrikler: doğruluk, kesinlik, duyarlılık ve F1 skoru.
• Bu metriklerin scikit-learn kullanılarak nasıl hesaplanacağı.
• Bir karmaşıklık matrisinin nasıl yorumlanacağı.

Sırada, kümeleme gibi denetimsiz öğrenme yöntemlerini inceleyeceğiz.