Usuwać czy uzupełniać: mądry wybór

Gdy pojawiają się brakujące dane, trzeba podjąć ważną decyzję: usunąć dotknięte nimi wiersze czy je uzupełnić. Właściwy wybór zależy od tego, ile danych utracą Państwo w każdym przypadku. 🛣️

Metoda dropna() usuwa każdy wiersz zawierający co najmniej jedną brakującą wartość. To proste i przejrzyste rozwiązanie, ale może po cichu usunąć dużą część danych.

Jeśli jedna kolumna jest w większości pusta, można usunąć całą kolumnę za pomocą axis=1. Czasem jedna wadliwa kolumna powoduje więcej szkód niż wiersze, w których występuje.

Usuwanie sprawdza się, gdy braki są rzadkie i rozproszone. Utrata niewielkiej części dużego zbioru danych rzadko zmienia wnioski.

Jeśli wiele wierszy zawiera choć jeden brak, usuwanie może drastycznie zmniejszyć zbiór danych. Co gorsza, tracone wiersze mogą nie być losowe, co prowadzi do obciążenia wyników.

Alternatywą jest uzupełnienie brakujących komórek rozsądną wartością za pomocą fillna(). Zachowują Państwo wszystkie wiersze, ale kosztem wprowadzenia pewnych wymyślonych liczb.

Warto pamiętać, że każda uzupełniona wartość jest oszacowaniem. Dobre uzupełnienie jest uzasadnione i udokumentowane; nieprzemyślane ukrywa brak i zniekształca statystyki.

Za pomocą thresh można zachować wiersze zawierające wystarczającą ilość rzeczywistych danych. Parametr określa minimalną liczbę niebrakujących wartości, które musi zawierać wiersz, aby pozostać w zbiorze.

Użyj subset, aby usuwać wiersze tylko wtedy, gdy brakuje określonej, kluczowej kolumny. Chroni to pozostałe dane przed niepotrzebnym usuwaniem.

Przed podjęciem decyzji należy zastanowić się, dlaczego brakuje danej wartości. Dane brakujące losowo można bezpiecznie uzupełnić, ale systematyczny brak może sam w sobie być istotnym sygnałem.

Praktyczna wskazówka: należy usuwać, gdy braków jest niewiele, a uzupełniać, gdy wiersze są cenne. Przed podjęciem decyzji zawsze trzeba ocenić, jak każda opcja zmieni Państwa rozkład.

Potrafią już Państwo oceniać wybór między usuwaniem a uzupełnianiem na podstawie ilości traconych danych i przyczyny braków. Polecenia dropna, thresh i subset pozwalają usuwać dane z rozwagą.