Tokeniser pour les modèles Transformer

Avant qu’un transformeur puisse apprendre quoi que ce soit, votre texte doit devenir des nombres. Cette conversion relève du tokenizer.

Chargez toujours le tokenizer qui a été entraîné avec votre modèle. Un vocabulaire incompatible produit des identifiants incohérents que le modèle n’a jamais vus.

Les tokenizers modernes découpent les mots rares en fragments plus petits appelés sous-mots, afin que même un texte inconnu puisse être représenté.

Les sous-mots gardent un vocabulaire réduit tout en gérant les fautes de frappe et les mots nouveaux. Le modèle rencontre rarement un véritable token inconnu.

Chaque sous-mot correspond à un identifiant entier. Appeler le tokenizer sur un texte renvoie ces identifiants, prêts pour le modèle.

Les tokenizers ajoutent des marqueurs comme CLS et SEP afin que le modèle sache où une séquence commence et se termine. Ce sont les tokens spéciaux.

Les lots doivent avoir des lignes de même longueur, alors les textes plus courts reçoivent des tokens de remplissage. Cette étape s’appelle le remplissage.

Les modèles limitent la longueur des entrées, donc les textes très longs sont coupés pour tenir dans cette limite. Activer la troncature maintient chaque exemple dans les limites autorisées.

Un masque d’attention marque les vrais tokens par 1 et le remplissage par 0, afin que le modèle ignore les positions de remplissage.

Demandez directement au tokenizer des tenseurs compatibles avec votre environnement afin que la sortie puisse être utilisée immédiatement pour l’entraînement, sans conversion supplémentaire.

Pour lire les prédictions, transmettez les identifiants à decode, et le tokenizer reconstruit le texte d’origine en supprimant les tokens spéciaux.

Les tokenizers transforment le texte en identifiants de sous-mots, ajoutent les tokens spéciaux, puis gèrent le remplissage, la troncature et le masque d’attention pour créer des lots propres. ✅