Model Performansını Değerlendirme

Bir makine öğrenmesi modelinin performansını değerlendirmek, modelin etkili olmasını sağlamak açısından çok önemlidir. Sınıflandırma problemleri için doğruluk, kesinlik, duyarlılık ve F1 puanı gibi ölçütleri kullanırız.

Doğruluk

Doğruluk, doğru tahmin edilen örneklerin toplam örnek sayısına oranını ölçer:

Accuracy = (True Positives + True Negatives) / Total Instances

Yararlı olmakla birlikte, dengesiz veri kümeleri için tek başına doğruluk yeterli olmayabilir.

Kesinlik

Kesinlik, pozitif tahminlerin doğruluğuna odaklanır:

Precision = True Positives / (True Positives + False Positives)

Yüksek kesinlik, daha az yanlış pozitif anlamına gelir.

Duyarlılık

Duyarlılık, modelin tüm pozitif örnekleri doğru belirleme yeteneğini ölçer:

Recall = True Positives / (True Positives + False Negatives)

Yüksek duyarlılık, daha az yanlış negatif anlamına gelir.

F1 Puanı

F1 puanı, kesinlik ile duyarlılığın harmonik ortalamasıdır:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Özellikle dengesiz veri kümelerinde yararlı olacak şekilde kesinlik ile duyarlılığı dengeler.

Ölçütler için scikit-learn Kullanımı

scikit-learn bu ölçütleri hesaplamak için işlevler sağlar:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Karmaşıklık Matrisi

Karmaşıklık matrisi, modelin performansını ayrıntılı olarak gösterir:

• Doğru Pozitifler (TP): Doğru pozitif tahminler.
• Yanlış Pozitifler (FP): Hatalı pozitif tahminler.
• Doğru Negatifler (TN): Doğru negatif tahminler.
• Yanlış Negatifler (FN): Hatalı negatif tahminler.

Doğru Ölçütü Seçme

Ölçüt seçimi probleme bağlıdır:

• Doğruluk: Dengeli veri kümelerinde iyi çalışır.
• Kesinlik: Yanlış pozitiflerin maliyetli olduğu durumlarda önemlidir.
• Duyarlılık: Yanlış negatiflerin maliyetli olduğu durumlarda kritik öneme sahiptir.
• F1 Puanı: Dengesiz veri kümeleri için dengeli bir ölçüttür.

Özet ve Sonraki Adımlar

Bu derste şunları ele aldık:

• Model performansını değerlendirme ölçütlerini: doğruluk, kesinlik, duyarlılık ve F1 puanı.
• Bu ölçütlerin scikit-learn kullanılarak nasıl hesaplanacağını.
• Bir karmaşıklık matrisinin nasıl yorumlanacağını.

Sonraki adımda, kümeleme gibi denetimsiz öğrenme yöntemlerini inceleyeceğiz.