Tokenização para modelos Transformer

Antes que um transformador possa aprender qualquer coisa, seu texto precisa se tornar números. Essa conversão é responsabilidade do tokenizer.

Sempre carregue o tokenizer que foi treinado com seu modelo. Um vocabulário incompatível produz identificadores sem sentido que o modelo nunca viu.

Os tokenizers modernos dividem palavras raras em partes menores chamadas subpalavras, para que até textos desconhecidos continuem representáveis.

As subpalavras mantêm o vocabulário pequeno e ainda lidam com erros de digitação e palavras novas. O modelo raramente encontra um token realmente desconhecido.

Cada subpalavra é associada a um identificador inteiro. Chamar o tokenizer com um texto retorna esses identificadores prontos para o modelo.

Os tokenizers adicionam marcadores como CLS e SEP para que o modelo saiba onde uma sequência começa e termina. Esses são os tokens especiais.

Os lotes precisam ter linhas do mesmo tamanho, então textos mais curtos recebem tokens de preenchimento. Esta etapa é chamada de preenchimento.

Os modelos limitam o tamanho da entrada, então textos muito longos são cortados para caber. Ativar o truncamento mantém cada exemplo dentro do limite.

Uma máscara de atenção marca os tokens reais com 1 e o preenchimento com 0, para que o modelo ignore as posições de preenchimento.

Peça ao tokenizer tensores do arcabouço diretamente, para que a saída passe direto ao treinamento sem uma conversão adicional.

Para ler as previsões, passe os identificadores por decode, e o tokenizer reconstruirá o texto original, removendo os tokens especiais.

Os tokenizers transformam texto em identificadores de subpalavras, adicionam tokens especiais e depois cuidam do preenchimento, do truncamento e da máscara de atenção para formar lotes adequados. ✅