Ce qui rend un modèle volumineux

Un grand modèle de langage est un transformeur entraîné sur d'immenses quantités de texte, avec des milliards de paramètres qui stockent des schémas linguistiques. 🤖

Les paramètres du modèle sont les nombres appris qui façonnent ses prédictions. Un plus grand nombre de paramètres lui offre davantage de possibilités pour saisir les schémas subtils.

Lors du pré-entraînement, le modèle lit d'immenses quantités de texte et apprend en prédisant le mot suivant encore et encore, des milliards de fois.

Cette tâche simple est puissante : pour bien deviner le mot suivant, le modèle doit assimiler la grammaire, des faits et le raisonnement cachés dans le texte.

Mettre à l'échelle signifie augmenter le nombre de paramètres, la quantité de données d'entraînement et la puissance de calcul. C'est l'augmentation simultanée de ces trois éléments qui débloque de nouvelles capacités.

Au-delà d'une certaine taille, les modèles manifestent des capacités émergentes, comme la traduction ou le raisonnement, dont les versions plus petites étaient tout simplement incapables.

Un seul grand modèle est un outil généraliste : les mêmes poids peuvent servir à résumer, répondre à des questions, écrire du code et traduire.

Ces grands modèles pré-entraînés sont appelés modèles fondamentaux, car vous construisez des applications spécifiques par-dessus.

Après le pré-entraînement, les modèles sont soumis à un réglage fin à partir d'instructions et de retours humains, afin qu'ils suivent les demandes et restent utiles.

Un LLM ne peut lire qu'une certaine quantité de texte à la fois. Cette limite est la fenêtre de contexte, mesurée en jetons, et elle plafonne la quantité de texte que vous pouvez envoyer.

Même les modèles les plus volumineux peuvent inventer des faits avec assurance. C'est ce qu'on appelle une hallucination, et c'est pourquoi vous devez vérifier les sorties importantes.

Les grands modèles augmentent le nombre de paramètres, les données et la puissance de calcul. Cette échelle apporte des capacités émergentes, mais aussi une limite de contexte et un risque d'hallucination. ✅