Choisir la bonne plage de N-grammes

Choisir une plage de n-grammes est une question d’équilibre. Davantage de contexte aide le modèle, mais peut vous submerger de caractéristiques et de bruit.

Chaque augmentation de n peut multiplier votre vocabulaire. Cette explosion des caractéristiques ralentit l’entraînement et augmente la mémoire nécessaire.

Les n-grammes longs apparaissent souvent une seule fois, puis plus jamais. Ces caractéristiques rares se généralisent rarement et peuvent pousser le modèle au surapprentissage.

Un excellent premier choix est (1, 2) : des unigrammes et des bigrammes. Cela détecte la négation et les expressions courtes sans faire exploser le nombre de caractéristiques.

Choisissez (1, 3) uniquement lorsque des expressions fixes de trois mots sont importantes, comme un nom de produit. Sinon, les colonnes supplémentaires sont rarement rentables.

Définissez min_df afin qu’un n-gramme doive apparaître dans plusieurs documents pour être pris en compte. Cela supprime discrètement les expressions isolées qui n’ajoutent que du bruit.

Vous pouvez également donner un budget au vectoriseur. max_features ne conserve que les termes les plus fréquents, ce qui maintient la matrice à une largeur fixe.

Ne devinez pas indéfiniment. Essayez quelques plages et comparez les scores de validation. Les données vous indiqueront où les gains commencent à plafonner.

Placez ngram_range dans une recherche en grille et laissez scikit-learn tester les plages à votre place, en choisissant l’option qui obtient le meilleur score en validation croisée.

Si la précision d’entraînement s’envole tandis que celle de validation reste faible, votre plage est peut-être trop large. Réduire n se généralise souvent mieux à de nouveaux textes.

Pour la plupart des tâches de traitement de texte, ngram_range (1, 2) avec un min_df faible constitue une base de référence solide et rapide. N’allez plus loin que lorsque les faits le justifient.

Commencez par (1, 2), élaguez avec min_df, limitez avec max_features et laissez la validation choisir le meilleur résultat. Vous pouvez désormais modéliser le contexte avec des n-grammes. 🚀