Tokenizacja za pomocą NLTK

Czas na ulepszenie rozwiązania. NLTK to klasyczna biblioteka Pythona, która udostępnia odpowiedni tokenizer do nieuporządkowanego tekstu z rzeczywistych zastosowań. 🛠️

Instalują ją Państwo raz za pomocą pip, a następnie importują w skrypcie. Od tego momentu word_tokenize z NLTK jest dostępne za pomocą jednego wywołania funkcji.

NLTK dostarcza dodatkowe dane osobno. Przed tokenizacją należy raz pobrać model punkt, a potem wszystko po prostu działa.

Teraz wystarczy przekazać dowolny napis do word_tokenize. Funkcja zwraca przejrzystą listę tokenów słów i znaków interpunkcyjnych, gotową do zliczania lub filtrowania.

Widać korzyść: wykrzyknik jest teraz osobnym tokenem. Dzięki temu cats i cats! są wreszcie liczone jako to samo słowo.

NLTK inteligentnie obsługuje formy skrócone. Dzieli don't na do i n't, dzięki czemu ukryta negacja pozostaje widoczna dla kodu.

W tle NLTK stosuje lingwistyczne reguły wyuczone na podstawie rzeczywistych tekstów. Dlatego za każdym razem przewyższa zwykły podział według whitespace.

NLTK segmentuje również zdania. Połącz sent_tokenize z word_tokenize, aby podzielić dokument na zdania, a następnie każde zdanie na słowa.

Typowy schemat polega na przejściu po zdaniach i tokenizacji każdego z nich. Otrzymują Państwo uporządkowaną listę list, czyli osobną listę tokenów dla każdego zdania.

NLTK świetnie nadaje się do nauki, ale nie jest jedyną opcją. Biblioteki takie jak spaCy oferują szybsze tokenizery, które poznają Państwo później.

Znają już Państwo cały proces: na wejściu surowy tekst, a na wyjściu przejrzysta lista tokenów. To fundament, na którym opiera się każdy kolejny etap NLP.

Użyli Państwo NLTK do tokenizacji rzeczywistego tekstu: instalacja, pobranie punkt, a następnie wywołanie word_tokenize. Biblioteka przejrzyście oddziela za Państwa znaki interpunkcyjne i formy skrócone.