Afinal, o que é um token?

Um token é a menor unidade de texto com que seu código trabalha. Antes de qualquer análise, você divide uma frase nesses pequenos elementos. 🧩

Na maior parte das vezes, um token é apenas uma palavra. A frase I love cats transforma-se em três tokens: I, love e cats.

A pontuação pode ser um token próprio. Dividir Hi, there! produz Hi, a vírgula, there e o ponto de exclamação como elementos separados.

Os computadores não conseguem ler uma frase como um único bloco. A tokenização transforma um texto confuso em uma lista organizada que seu programa pode contar e comparar.

Em Python, os tokens geralmente ficam em uma lista de strings. Essa lista é o ponto de partida para quase toda tarefa de PLN que você criará.

Os tokens são a unidade com que a PLN mede tudo. Contagens de palavras, vocabulários e recursos começam todos com essa ideia.

Um token nem sempre é uma palavra completa. Os modelos modernos frequentemente usam subpalavras, dividindo unhappiness em un, happi e ness para lidar com palavras raras.

E quanto a don't? Um tokenizador inteligente pode dividi-la em do e n't, pois isso captura a palavra oculta not.

Os tokens não são apenas letras. Preços como $5 ou anos como 2024 também são tokens, e a maneira como você os divide é realmente importante.

O ato de dividir o texto em tokens é chamado de tokenização. Esse é o primeiro passo efetivo em quase todo pipeline de PLN que você escreverá.

Não existe uma única maneira correta de tokenizar. As regras que você escolherão moldarão cada contagem e resultado posterior, portanto merecem reflexão.

Você aprendeu que um token é a unidade básica do texto: uma palavra, um símbolo ou até uma subpalavra. A tokenização divide o texto em uma lista organizada para processamento.