Modélisation du langage masqué

BERT s’entraîne sur du texte brut, sans aucune étiquette humaine. Cette astuce ingénieuse s’appelle l’apprentissage auto-supervisé.

BERT apprend en masquant certains mots, puis en essayant de les retrouver. Ce jeu s’appelle la modélisation du langage masqué, ou MLM en abrégé.

Un mot choisi au hasard est remplacé par un espace réservé spécial. Ici, le modèle doit retrouver ce que le masque dissimule.

BERT lit tout ce qui entoure le blanc et classe les mots susceptibles de le remplir. Les meilleures propositions s’appuient sur l’intégralité du contexte.

Pour remplir correctement un blanc, le modèle doit apprendre la grammaire, des faits et les relations entre les mots. Le blanc impose une réelle compréhension.

BERT masque environ 15 % des mots de chaque phrase pendant l’entraînement. Cette proportion équilibre le signal et la difficulté.

Contrairement aux modèles de gauche à droite, BERT voit les mots situés avant et après le blanc. Cette vision bidirectionnelle rend ses propositions bien plus riches.

Le BERT original devait également deviner si une phrase en suivait une autre. Cette tâche supplémentaire s’appelle la prédiction de la phrase suivante et lui apprend la continuité du texte.

Cette phase de MLM lente et coûteuse constitue l’étape de pré-entraînement. Vous téléchargez le résultat et le réutilisez sans refaire le travail.

Un pipeline de remplissage de masques vous permet d’observer le MLM en action et de voir BERT classer ses meilleures prédictions pour n’importe quel blanc.

Après le MLM, BERT possède une immense réserve de connaissances linguistiques prête à alimenter vos tâches. Tout cela provient de textes bruts.

BERT apprend à remplir les blancs masqués en utilisant les deux côtés d’une phrase. Ce MLM auto-supervisé construit de solides connaissances linguistiques. ✅