Comment word2vec apprend le sens

Comment un programme peut-il apprendre le sens des mots sans dictionnaire ? La célèbre méthode word2vec répond à cette question grâce à une astuce ingénieuse.

L'idée centrale est l'hypothèse distributionnelle : un mot est défini par les mots qui l'entourent. Un contexte similaire indique un sens similaire.

word2vec fait glisser une petite fenêtre sur le texte et apprend à prédire chaque mot à partir de ses voisins. C'est le dispositif d'apprentissage skip-gram.

À partir d'un mot central, le modèle devine les mots voisins. Ici, la fenêtre indique les voisins qu'il essaie de prédire.

Skip-gram prédit le contexte à partir d'un mot, tandis que CBOW prédit un mot à partir de son contexte. Les deux apprennent des vecteurs, mais dans des directions opposées.

La tâche de prédiction n'est qu'un prétexte. Ce que nous conservons, ce sont les poids cachés, qui deviennent les vecteurs des mots après l'apprentissage.

Chaque mauvaise réponse ajuste légèrement les vecteurs. Au fil de millions d'exemples, ces minuscules mises à jour façonnent le sens dans les nombres.

Les mots qui apparaissent dans des contextes similaires sont rapprochés les uns des autres dans l'espace. C'est ainsi que « roi » et « reine » finissent proches.

Apprendre sur chaque mot du vocabulaire est lent, alors word2vec utilise l'échantillonnage négatif et apprend à partir de quelques mots incorrects au lieu de tous les mots.

Le génie de cette méthode est que le texte brut est son propre professeur. word2vec est auto-supervisé et n'a besoin d'aucune étiquette humaine pour apprendre le sens. 🤖

Pour la première fois, de simples calculs sur des vecteurs reflétaient de véritables relations entre les mots. word2vec a rendu les plongements accessibles à tous.

word2vec apprend le sens en prédisant le contexte, puis conserve les poids sous forme de vecteurs. Les contextes similaires rapprochent les mots, le tout sans étiquettes. ✅