Vad är egentligen en token?

Skiljetecken kan vara egna token. Om Ni delar upp Hi, there! får Ni Hi, kommatecknet, there och utropstecknet som separata delar.

Datorer kan inte läsa en mening som en enda klump. Tokenisering omvandlar rörig text till en ren lista som programmet kan räkna och jämföra.

I Python finns token vanligtvis i en list med strängar. Den listan är utgångspunkten för nästan alla NLP-uppgifter Ni kommer att bygga.

Token är den enhet som NLP mäter allt i. Ordräkning, vokabulär och särdrag börjar alla med den här enkla idén.

En token är inte alltid ett helt ord. Moderna modeller använder ofta subwords och delar upp unhappiness i un, happi och ness för att hantera ovanliga ord.

Hur är det med don't? En smart tokenizer kan dela upp det i do och n't, eftersom det synliggör det dolda ordet not.

Token består inte bara av bokstäver. Priser som $5 och årtal som 2024 är också token, och hur Ni delar upp dem spelar stor roll.

Att dela upp text i token kallas tokenization. Det är det första riktiga steget i nästan varje NLP-pipeline Ni kommer att skriva.

Det finns inget enda rätt sätt att tokenisera. De regler Ni väljer påverkar alla efterföljande räkningar och resultat, så de kräver eftertanke.

Ni har lärt Er att en token är textens grundenhet: ett ord, en symbol eller till och med en del av ett ord. Tokenisering delar texten i en ren lista för vidare bearbetning.