Mit NLTK tokenisieren

Zeit für ein Upgrade. NLTK ist eine klassische Python-Bibliothek, die dir einen vernünftigen Tokenizer für unübersichtlichen, realen Text bietet. 🛠️

Sie installieren es einmal mit pip und importieren es dann in Ihr Skript. Von da an ist NLTKs word_tokenize nur einen Funktionsaufruf entfernt.

NLTK liefert zusätzliche Daten separat aus. Vor dem Tokenisieren laden Sie das punkt-Modell einmal herunter, und danach funktioniert es einfach.

Übergeben Sie nun einen beliebigen String an word_tokenize. Es gibt eine bereinigte Liste von Wort- und Interpunktionstoken zurück, die zum Zählen oder Filtern bereit ist.

Beachten Sie den Gewinn: Das Ausrufezeichen ist jetzt ein eigenes Token. So zählen „Katzen“ und „Katzen!“ endlich als das selbe Wort.

NLTK ist schlau, was Kontraktionen angeht. Es teilt don't in do und n't auf und hält so die versteckte Verneinung für Ihren Code sichtbar.

Unter der Haube folgt NLTK sprachlichen Regeln, die aus echtem Text gelernt wurden. Aus diesem Grund schlägt es ein simples Aufteilen nach Leerzeichen jedes Mal.

NLTK segmentiert auch Sätze. Kombinieren Sie sent_tokenize mit word_tokenize, um ein Dokument in Sätze und diese dann jeweils in Wörter zu unterteilen.

Ein gängiges Muster iteriert über Sätze und tokenisiert jeden einzelnen. Dies ergibt eine übersichtliche Liste von Listen, eine Token-Liste pro Satz.

NLTK ist großartig zum Lernen, aber es ist nicht allein. Bibliotheken wie spaCy bieten schnellere Tokenizer, die du später kennenlernen wirst.

Du hast jetzt den vollständigen Ablauf: roher Text rein, eine saubere Token-Liste raus. Das ist das Fundament, auf dem jeder spätere NLP-Schritt aufbaut.

Sie haben NLTK verwendet, um echten Text zu tokenisieren: installieren, punkt herunterladen, dann word_tokenize aufrufen. Es trennt Satzzeichen und verkürzte Formen sauber für Sie.