Problem z surowymi zliczeniami
Dlaczego częste słowa mogą wprowadzać w błąd
Problem z surowymi zliczeniami to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 1 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Zliczanie dało początek
Bag-of-words zamienia tekst w liczby, zliczając każde słowo. Działa, ale surowe zliczenia mogą po cichu wprowadzać model w błąd na sposoby, które warto skorygować.
Częste słowa dominują
Najczęściej występujące słowa w dokumencie są zwykle najmniej użyteczne. Ich wysoka częstość zagłusza rzadkie słowa, które faktycznie niosą znaczenie.
Poznajemy słowa wypełniające
Słowa takie jak the, is i of pojawiają się niemal w każdym tekście. Te słowa wypełniające prawie nic nie mówią o rzeczywistej tematyce dokumentu.
Szybki przykład zliczania
Proszę zliczyć słowa w tym zdaniu — słowo the od razu dominuje. Widać, że najczęstszy token jest zarazem najmniej informacyjny. 🔍
text = "the cat sat on the mat"
counts = {}
for w in text.split():
counts[w] = counts.get(w, 0) + 1
print(counts)Długie dokumenty oszukują
Dłuższy dokument naturalnie ma większe zliczenia w każdym miejscu. Surowe liczby premiują długość, a nie trafność, więc duże dokumenty wyglądają na sztucznie ważniejsze.
Rzadkie słowa są cenne
Słowo występujące tylko w jednym dokumencie jest silną wskazówką dotyczącą tego dokumentu. Mimo to surowe zliczenia traktują ten rzadki sygnał tak samo jak powszechny szum.
Potrzebujemy dwóch sygnałów
Dobre ważenie uwzględnia dwie kwestie: jak często słowo występuje tutaj oraz jak rzadkie jest w całym zbiorze. Zliczenia odpowiadają tylko na pierwsze pytanie.
Charakterystyczność jest ważniejsza od częstości
Chcemy nagradzać słowa charakterystyczne dla dokumentu, a nie tylko często występujące. Charakterystyczność odróżnia słowo tematyczne od tła i szumu.
Poznajemy TF-IDF
Klasycznym rozwiązaniem jest wynik o nazwie TF-IDF. Zwiększa on wagę słów częstych w jednym dokumencie, ale rzadkich w całym zbiorze.
Ten sam potok, lepsze liczby
Nadal wykonuje Pan/Pani tokenizację i buduje słownik tak jak wcześniej. TF-IDF zastępuje jedynie surowe zliczenia inteligentniejszymi wagami w macierzy o tym samym kształcie.
Dlaczego to ma znaczenie
Lepsze wagi sprawiają, że wyszukiwanie, klasteryzacja i klasyfikatory skupiają się na właściwych słowach. Korekta surowych zliczeń to najważniejsze proste ulepszenie cech tekstowych.
Szybkie sprawdzenie
Dlaczego surowe zliczenia słów są słabym sposobem ważenia tekstu?
Podsumowanie
Surowe zliczenia premiują częstotliwość i długość, a nie trafność. Wiadomo już, dlaczego potrzebujemy sprytniejszej oceny — to przygotowuje nas do użycia TF-IDF, które nadaje słowom wagi zależnie od tego, jak bardzo są charakterystyczne. ✅
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Problem z surowymi zliczeniami” jest bezpłatna?
Tak — pełny tekst „Problem z surowymi zliczeniami” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Problem z surowymi zliczeniami”?
Dlaczego częste słowa mogą wprowadzać w błąd Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 1 z 4.
Ile czasu zajmuje lekcja „Problem z surowymi zliczeniami”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Problem z surowymi zliczeniami
- Częstość terminu i odwrotna częstość dokumentu
- TF-IDF za pomocą scikit-learn
- Wyszukiwanie najważniejszych słów