Kompletny potok dla niezrównoważonych danych
Połącz poprawki w przejrzysty sposób
Kompletny potok dla niezrównoważonych danych to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Połącz wszystko
Teraz połączysz wszystkie rozwiązania w jeden uporządkowany przepływ. Pojedynczy potok utrzymuje wektoryzację, ponowne próbkowanie i modelowanie we właściwej kolejności.
Zawsze najpierw podziel dane
Zacznij od podziału stratyfikowanego, aby zbiory treningowy i testowy zachowały tę samą proporcję rzadkiej klasy. Chroni to uczciwą ocenę.
X_tr, X_te, y_tr, y_te = train_test_split(X, y, stratify=y)Wektoryzuj tekst
Przekształć surowy tekst w liczby za pomocą TF-IDF, aby klasyfikator miał cechy, na których może się uczyć.
tfidf = TfidfVectorizer()Próbkuj ponownie wewnątrz potoku
Użyj obiektu Pipeline z imblearn, aby SMOTE działał wyłącznie na podziałach treningowych i nigdy nie powodował wycieku do walidacji ani testu.
from imblearn.pipeline import PipelinePołącz etapy
Wymień etapy w odpowiedniej kolejności: wektoryzator, następnie SMOTE, a potem model. Potok uruchamia je jako jeden dopasowany obiekt.
pipe = Pipeline([('tf', tfidf), ('sm', SMOTE()), ('clf', LogisticRegression())])Dopasuj raz i poprawnie
Wywołaj fit dla całego potoku. Każdy etap jest trenowany po kolei i korzysta wyłącznie z danych treningowych.
pipe.fit(X_tr, y_tr)Oceniaj we właściwy sposób
Pomiń surową dokładność. Raport klasyfikacji jasno pokazuje precyzję, czułość i F1 dla rzadkiej klasy.
from sklearn.metrics import classification_report
print(classification_report(y_te, pipe.predict(X_te)))Weryfikuj bez wycieków
Połącz potok ze stratyfikowaną walidacją krzyżową, aby ponowne próbkowanie odbywało się od początku w każdym podziale.
Dostrój próg
Pobierz prawdopodobieństwa z potoku i wybierz próg, który zapewni docelową czułość na danych walidacyjnych.
proba = pipe.predict_proba(X_te)[:, 1]Zapisz cały potok
Utrwal cały dopasowany potok za pomocą joblib, aby podczas późniejszego wnioskowania każdy etap był automatycznie powtarzany.
import joblib
joblib.dump(pipe, 'model.joblib')Jeden obiekt, powtarzalne wyniki
Ponieważ wektoryzacja, równoważenie i modelowanie znajdują się razem, wyniki pozostają powtarzalne i wolne od subtelnych wycieków. 🚀
Szybkie sprawdzenie
Jeszcze jedno pytanie o bezpieczne potoki.
Podsumowanie
Wykonaj stratyfikację, wektoryzację i ponowne próbkowanie wewnątrz potoku, oceniaj model na podstawie F1 i czułości, dostrój próg, a następnie zapisz całość. 🚀
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Kompletny potok dla niezrównoważonych danych” jest bezpłatna?
Tak — pełny tekst „Kompletny potok dla niezrównoważonych danych” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Kompletny potok dla niezrównoważonych danych”?
Połącz poprawki w przejrzysty sposób Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Kompletny potok dla niezrównoważonych danych”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Dlaczego rzadkie klasy są pomijane
- Resampling i wagi klas
- Wybór progu i metryki
- Kompletny potok dla niezrównoważonych danych