Resampling i wagi klas
Zrównoważ dane za pomocą kodu, a nie większej ilości danych
Resampling i wagi klas to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Dwa sposoby równoważenia
Nierównowagę można naprawić, zmieniając dane za pomocą ponownego próbkowania, albo zmieniając obliczenia za pomocą wag klas. Obie metody kierują uwagę modelu na rzadką klasę.
Nadpróbkowanie mniejszości
Nadpróbkowanie kopiuje lub syntetyzuje dodatkowe przykłady rzadkiej klasy, aby klasy się wyrównały i model miał więcej danych do nauki.
Podpróbkowanie większości
Podpróbkowanie zamiast tego usuwa część przykładów klasy większościowej. Jest szybkie i oszczędne, ale wiąże się z ryzykiem utraty przydatnych informacji.
SMOTE dla cech tekstowych
SMOTE tworzy nowe przykłady mniejszości pomiędzy rzeczywistymi punktami w przestrzeni cech, zamiast je duplikować, dzięki czemu model widzi bardziej zróżnicowane dane.
from imblearn.over_sampling import SMOTE
X_bal, y_bal = SMOTE().fit_resample(X, y)Próbkuj ponownie tylko zbiór treningowy
Zawsze równoważ wyłącznie zbiór treningowy. Modyfikowanie zbioru testowego sztucznie zawyża wyniki i ukrywa rzeczywistą skuteczność.
Idea ważenia
Zamiast zmieniać dane możesz sprawić, że każdy błąd dotyczący rzadkiej klasy będzie kosztował więcej. Wyższe wagi klas powodują, że funkcja straty uwzględnia mniejszość.
Równowaga w jednej linii
Wiele modeli scikit-learn obsługuje parametr class_weight. Ustaw go na balanced, a wagi zostaną obliczone odwrotnie proporcjonalnie do częstości klas.
clf = LogisticRegression(class_weight='balanced')Jak działają wagi zrównoważone
Ważenie zrównoważone skaluje każdą klasę przez odwrotność jej częstości, dzięki czemu rzadka etykieta liczy się tak, jakby występowała znacznie częściej.
Wagi a ponowne próbkowanie
Wagi klas są tanie obliczeniowo i zachowują dane bez zmian, podczas gdy ponowne próbkowanie może uchwycić bogatsze wzorce. Najpierw wypróbuj wagi.
Uważaj na przeuczenie
Agresywne nadpróbkowanie może sprawić, że model zapamięta rzadkie przykłady. Weryfikuj go na nietkniętych danych, aby wcześnie wykryć to przeuczenie.
Wybierz metodę i zmierz jej skuteczność
Nie ma jednej metody najlepszej w każdej sytuacji. Wybierz metodę, a następnie oceń ją na podstawie czułości dla mniejszości, a nie surowej dokładności. 🎯
Szybkie sprawdzenie
Wybierz najbezpieczniejszy sposób równoważenia.
Podsumowanie
Zwalczaj nierównowagę za pomocą ponownego próbkowania lub wag klas, równoważ wyłącznie dane treningowe i oceniaj wyniki na podstawie czułości dla mniejszości. ✅
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Resampling i wagi klas” jest bezpłatna?
Tak — pełny tekst „Resampling i wagi klas” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Resampling i wagi klas”?
Zrównoważ dane za pomocą kodu, a nie większej ilości danych Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.
Ile czasu zajmuje lekcja „Resampling i wagi klas”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Dlaczego rzadkie klasy są pomijane
- Resampling i wagi klas
- Wybór progu i metryki
- Kompletny potok dla niezrównoważonych danych