Was ist eigentlich ein Token?

Ein Token ist die kleinste Texteinheit, mit der dein Code arbeitet. Vor jeder Analyse zerlegst du einen Satz in diese winzigen Teile. 🧩

Meistens ist ein Token einfach ein Wort. Der Satz „I love cats“ wird zu drei Token: I, love und cats.

Satzzeichen können eigene Token sein. Die Aufteilung von „Hi, there!“ ergibt „Hi“, das Komma, „there“ sowie das Ausrufezeichen als separate Teile.

Computer können einen Satz nicht als einen einzigen Block lesen. Tokenisierung verwandelt unübersichtlichen Text in eine saubere Liste, die Ihr Programm zählen und vergleichen kann.

In Python befinden sich Tokens normalerweise in einer Liste aus Strings. Diese Liste ist der Ausgangspunkt für fast jede NLP-Aufgabe, die Sie erstellen werden.

Tokens sind die Einheit, in der NLP alles misst. Wortzahlen, Vokabulare und Merkmale gehen alle von dieser einzigen Idee aus.

Ein Token ist nicht immer ein vollständiges Wort. Moderne Modelle verwenden oft Teilwörter und teilen „unhappiness“ in „un“, „happi“ und „ness“ auf, um mit seltenen Wörtern umzugehen.

Wie sieht es mit don't aus? Ein intelligenter Tokenizer könnte es in do und n't aufteilen, da dies das versteckte Wort not erfasst.

Tokens sind nicht nur Buchstaben. Preise wie 5 $ oder Jahre wie 2024 sind ebenfalls Token, und wie man sie aufteilt, spielt eine echte Rolle.

Das Aufteilen von Text in Tokens wird als Tokenisierung bezeichnet. Es ist der erste echte Schritt in nahezu jeder NLP-Pipeline, die Sie schreiben werden.

Es gibt keinen einzigen richtigen Weg für das Tokenizing. Die Regeln, die Sie wählen, prägen jede Anzahl und jedes nachfolgende Ergebnis, weshalb sie echte Überlegung verdienen.

Stellen wir sicher, dass die Kernidee hängen geblieben ist.

Du hast gelernt, dass ein Token die Basiseinheit von Text ist: ein Wort, ein Symbol oder sogar ein Teilstück eines Wortes. Die Tokenisierung teilt Text zur Verarbeitung in eine saubere Liste auf.