Dlaczego dokładność może wprowadzać w błąd

Dokładność to po prostu udział poprawnych predykcji modelu we wszystkich predykcjach. To prosta miara, ale może po cichu wprowadzać w błąd. 🎯

Jedna liczba może dawać poczucie pewności, ale dokładność ukrywa rodzaje popełnianych błędów. Wysoki wynik może maskować model, który zawodzi tam, gdzie ma to największe znaczenie.

Problem pojawia się przy niezrównoważonych danych, gdy jedna klasa występuje znacznie częściej niż druga. W takiej sytuacji dokładność przestaje pokazywać prawdziwy obraz.

Załóżmy, że 95% wiadomości e-mail nie stanowi spamu. Leniwy model, który oznacza wszystko jako wiadomości niespamowe, osiąga 95% dokładności, nie wykrywając ani jednej wiadomości spamowej.

Ta sztuczka polegająca na ciągłym przewidywaniu najliczniejszej klasy to model bazowy najliczniejszej klasy. Jeśli Twój model ledwo go pokonuje, jego dokładność jest pozorna.

scikit-learn bezpośrednio oblicza dokładność, dzięki czemu możesz porównać model z takim leniwym modelem bazowym w jednej linii.

Nieprzechwycenie oszustwa i oznaczenie bezpiecznej transakcji jako oszustwa wiąże się z zupełnie innymi kosztami. Dokładność traktuje każdy błąd tak, jakby kosztował tyle samo, choć prawie nigdy tak nie jest.

Badanie medyczne, które nie wykrywa prawdziwej choroby, może osiągać wysoką dokładność, a mimo to być niebezpieczne. Koszt kryje się w błędach, które dokładność po cichu uśrednia.

Przy zrównoważonych klasach i jednakowych kosztach błędów dokładność jest całkowicie rzetelnym i łatwym do odczytania podsumowaniem skuteczności.

Zanim zaufasz jakiemukolwiek wynikowi, sprawdź równowagę klas. Znajomość rozkładu klas mówi, czy w ogóle można wierzyć dokładności.

Dokładność to punkt wyjścia, a nie ostateczny werdykt. Rzetelna ocena wymaga metryk pokazujących, gdzie i w jaki sposób model zawodzi.

Dokładność zlicza poprawne predykcje, ale przy niezrównoważonych danych ukrywa porażki. Najpierw zawsze sprawdzaj równowagę klas i koszty błędów. ✅