Ocena skuteczności modelu

Ocena skuteczności modelu uczenia maszynowego ma kluczowe znaczenie dla zapewnienia jego efektywności. W problemach klasyfikacji używamy takich miar jak dokładność, precyzja, czułość i wynik F1.

Dokładność

Dokładność mierzy stosunek poprawnie przewidzianych przypadków do całkowitej liczby przypadków:

Accuracy = (True Positives + True Negatives) / Total Instances

Choć dokładność jest przydatna, w przypadku niezrównoważonych zbiorów danych może nie być wystarczająca.

Precyzja

Precyzja koncentruje się na poprawności pozytywnych predykcji:

Precision = True Positives / (True Positives + False Positives)

Wysoka precyzja oznacza mniejszą liczbę fałszywie pozytywnych predykcji.

Czułość

Czułość mierzy zdolność modelu do prawidłowego zidentyfikowania wszystkich pozytywnych przypadków:

Recall = True Positives / (True Positives + False Negatives)

Wysoka czułość oznacza mniejszą liczbę fałszywie negatywnych predykcji.

Wynik F1

Wynik F1 jest średnią harmoniczną precyzji i czułości:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Równoważy precyzję i czułość, dzięki czemu jest szczególnie przydatny w przypadku niezrównoważonych zbiorów danych.

Używanie scikit-learn do obliczania metryk

Scikit-learn udostępnia funkcje do obliczania następujących metryk:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Macierz pomyłek

Macierz pomyłek zapewnia szczegółowy wgląd w wydajność modelu:

• Prawdziwie pozytywne (TP): Poprawne przewidywania klasy pozytywnej.
• Fałszywie pozytywne (FP): Niepoprawne przewidywania klasy pozytywnej.
• Prawdziwie negatywne (TN): Poprawne przewidywania klasy negatywnej.
• Fałszywie negatywne (FN): Niepoprawne przewidywania klasy negatywnej.

Wybór odpowiedniej metryki

Wybór metryki zależy od problemu:

• Dokładność: Sprawdza się w przypadku zbilansowanych zbiorów danych.
• Precyzja: Jest ważna, gdy fałszywie pozytywne wyniki są kosztowne.
• Czułość: Ma kluczowe znaczenie, gdy fałszywie negatywne wyniki są kosztowne.
• Wynik F1: Zbilansowana metryka dla niezbilansowanych zbiorów danych.

Podsumowanie i kolejne kroki

W tej lekcji omówili Państwo:

• Metryki służące do oceny wydajności modelu: dokładność, precyzję, czułość i wynik F1.
• Sposób obliczania tych metryk za pomocą scikit-learn.
• Sposób interpretowania macierzy pomyłek.

Następnie poznają Państwo metody uczenia nienadzorowanego, takie jak grupowanie.