Ocena wydajności modelu

Ocena wydajności modelu uczenia maszynowego ma kluczowe znaczenie dla zapewnienia jego skuteczności. W problemach klasyfikacji używamy metryk takich jak dokładność, precyzja, czułość i wynik F1.

Dokładność

Dokładność mierzy stosunek poprawnie przewidzianych przypadków do całkowitej liczby przypadków:

Accuracy = (True Positives + True Negatives) / Total Instances

Choć dokładność jest przydatna, sama może nie wystarczyć w przypadku niezrównoważonych zbiorów danych.

Precyzja

Precyzja skupia się na poprawności predykcji pozytywnych:

Precision = True Positives / (True Positives + False Positives)

Wysoka precyzja oznacza mniej fałszywie dodatnich.

Czułość

Czułość mierzy zdolność modelu do poprawnego zidentyfikowania wszystkich przypadków pozytywnych:

Recall = True Positives / (True Positives + False Negatives)

Wysoka czułość oznacza mniej fałszywie ujemnych.

Wynik F1

Wynik F1 to średnia harmoniczna precyzji i czułości:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Równoważy precyzję i czułość, dlatego jest szczególnie przydatny w przypadku niezrównoważonych zbiorów danych.

Używanie scikit-learn do obliczania metryk

Scikit-learn udostępnia funkcje do obliczania tych metryk:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Macierz pomyłek

Macierz pomyłek zapewnia szczegółowy wgląd w wydajność modelu:

• Prawdziwie dodatnie (TP): Poprawne predykcje pozytywne.
• Fałszywie dodatnie (FP): Niepoprawne predykcje pozytywne.
• Prawdziwie ujemne (TN): Poprawne predykcje negatywne.
• Fałszywie ujemne (FN): Niepoprawne predykcje negatywne.

Wybór właściwej metryki

Wybór metryki zależy od problemu:

• Dokładność: Dobrze sprawdza się w przypadku zrównoważonych zbiorów danych.
• Precyzja: Jest ważna, gdy fałszywie dodatnie są kosztowne.
• Czułość: Ma kluczowe znaczenie, gdy fałszywie ujemne są kosztowne.
• Wynik F1: Zrównoważona metryka dla niezrównoważonych zbiorów danych.

Podsumowanie i kolejne kroki

W tej lekcji omówiliśmy:

• Metryki oceny wydajności modelu: dokładność, precyzję, czułość i wynik F1.
• Sposób obliczania tych metryk za pomocą scikit-learn.
• Sposób interpretowania macierzy pomyłek.

Następnie poznamy metody uczenia nienadzorowanego, takie jak klasteryzacja.