Lematyzacja: inteligentniejsze formy podstawowe
Sprowadzaj słowa do rzeczywistych form słownikowych
Lematyzacja: inteligentniejsze formy podstawowe to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Sprytniejsza redukcja
Stemming odcina końcówki bez uwzględniania kontekstu, natomiast lemmatization sprowadza słowo do jego prawdziwej, słownikowej formy podstawowej zwanej lematem. Wynik jest zawsze poprawnym słowem. 📖
Lemat a stem
Stemming zamienia studies na studi, ale lematyzacja zwraca poprawny lemat study. Ten uporządkowany i prawidłowy wynik jest największą zaletą lemmatization.
Korzysta ze słownika
Lematyzator wyszukuje słowa w prawdziwym vocabulary, takim jak WordNet. Dzięki temu wie, że better ma formę podstawową better, a nie bett.
WordNetLemmatizer
NLTK udostępnia narzędzie WordNetLemmatizer. Należy je utworzyć, a następnie wywołać lemmatize dla wybranego słowa, aby otrzymać jego formę podstawową.
from nltk.stem import WordNetLemmatizer
lem = WordNetLemmatizer()
print(lem.lemmatize('cars'))Część mowy ma znaczenie
Domyślnie lematyzator zakłada, że każde słowo jest rzeczownikiem. Dlatego czasownik running pozostaje running, dopóki nie zostanie podana informacja, że jest to verb.
print(lem.lemmatize('running'))Przekaż właściwą etykietę
Aby to naprawić, przekaż argument pos. Gdy poinformujesz lematyzator, że słowo jest czasownikiem, zredukuje running aż do formy podstawowej run.
print(lem.lemmatize('running', pos='v'))Obsługa form nieregularnych
Ponieważ zna prawdziwą gramatykę, lematyzator radzi sobie również z trudnymi słowami. Czasownik went zostaje poprawnie zamieniony na formę podstawową go, czego stemmer nie potrafi zrobić.
print(lem.lemmatize('went', pos='v'))Przymiotniki i liczba mnoga
Narzędzie obsługuje również inne części mowy. Po przekazaniu etykiety przymiotnika lematyzator zamienia better na formę podstawową good.
print(lem.lemmatize('better', pos='a'))Lematyzacja listy tokenów
Zastosuj ją do całego dokumentu za pomocą comprehension, podobnie jak stemming. Każdy token wróci jako czysta i poprawna forma podstawowa.
words = ['dogs', 'boxes', 'wishes']
print([lem.lemmatize(w) for w in words])Wolniej, ale dokładniej
Lematyzacja potrzebuje słownika, a najlepiej także etykiet części mowy, dlatego działa wolniej niż stemming. W zamian za speed otrzymuje się czystsze i dokładniejsze wyniki. ⚖️
Co wybrać?
Stemming należy stosować do szybkiego wyszukiwania na dużą skalę, a lemmatization wtedy, gdy ważne są czytelne i dokładne formy podstawowe, na przykład podczas tworzenia cech dla modelu.
Szybkie sprawdzenie
Porównajmy oba sposoby redukcji.
Podsumowanie
Nauczył(a) się Pan/Pani, że lemmatization korzysta ze słownika i etykiet części mowy, aby zwracać prawdziwe formy podstawowe. Jest wolniejsza niż stemming, ale zapewnia znacznie czystsze wyniki. Świetna praca! 🎉
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Lematyzacja: inteligentniejsze formy podstawowe” jest bezpłatna?
Tak — pełny tekst „Lematyzacja: inteligentniejsze formy podstawowe” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Lematyzacja: inteligentniejsze formy podstawowe”?
Sprowadzaj słowa do rzeczywistych form słownikowych Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Lematyzacja: inteligentniejsze formy podstawowe”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Dlaczego wielkość liter i odstępy mają znaczenie
- Zamiana na małe litery i usuwanie białych znaków
- Stemming: skracanie do rdzenia
- Lematyzacja: inteligentniejsze formy podstawowe