Créer un vocabulaire

Un vocabulaire est l’ensemble complet des mots uniques connus de votre modèle. Chaque mot occupe une position fixe dans le vecteur de chaque document. 📖

Pour le construire, rassemblez tous les mots de vos documents et ne conservez que les mots distincts, en supprimant les répétitions.

Triez les mots uniques et attribuez un nombre à chacun. Cette correspondance entre mots et indices constitue votre table de recherche du vocabulaire.

L’indice indique à un mot la position qu’il occupe dans chaque vecteur. Ainsi, cat se retrouve toujours dans la même colonne.

Si votre vocabulaire contient 5000 mots, chaque document devient un vecteur de 5000 nombres, avec une position par mot.

Une fois établie, la correspondance ne doit jamais changer. Un ordre stable garantit que la colonne 3 représente le même mot pour chaque document.

Un mot qui ne figure pas dans votre vocabulaire est dit hors vocabulaire. Le choix le plus simple consiste à l’ignorer lors du comptage.

Les mots qui n’apparaissent qu’une fois ajoutent du bruit et augmentent la taille. Supprimer les termes très rares permet de conserver un vocabulaire plus petit et plus propre.

Vous pouvez aussi supprimer les mots qui apparaissent dans presque tous les documents. Ces mots vides aident rarement à distinguer les documents.

Une fois la correspondance construite, trouver la position d’un mot est instantané. Il suffit d’indexer le dictionnaire avec le mot recherché.

Cette correspondance est la base de la vectorisation. Ensuite, vous remplissez chaque position avec le nombre de fois où ce mot apparaît dans un document.

Vous avez construit un vocabulaire de mots uniques, associé chacun à un indice fixe et découvert comment l’élagage permet de le garder réduit et utile. 🎉