Comment une IA prédit le mot suivant

Voici le grand secret des agents conversationnels : ils écrivent en devinant le mot suivant, encore et encore. Donnez-leur un début, et ils prédisent chaque mot l’un après l’autre jusqu’à former une réponse complète.

Dites « Il était une fois… » et votre cerveau complète « un jour ». Une IA fait la même chose à une échelle gigantesque : elle a si bien appris les régularités du langage qu’elle peut deviner ce qui vient naturellement ensuite.

L’IA a été entraînée en lisant une quantité immense de textes écrits par des humains. Elle ne mémorise pas des pages : elle apprend les régularités, comme vous avez assimilé la grammaire sans manuel de règles.

Chaque mot qu’elle choisit est une très bonne estimation de ce qui convient le mieux. En enchaînant suffisamment de bonnes estimations, on obtient un paragraphe qui se lit avec fluidité et naturel.

Elle a appris à partir de textes humains, si bien que son résultat semble poli et pertinent, comme s’il avait été rédigé par une personne réfléchie. Mais souvenez-vous : elle reproduit des régularités, elle ne comprend pas réellement.

Voici le problème : elle vise des mots qui sonnent juste, pas des mots qui sont vrais. Les deux coïncident généralement, mais elle peut rédiger une phrase assurée qui est tout simplement fausse.

Posez deux fois la même question et la formulation peut changer, car une petite variation est intégrée à sa façon de choisir les mots. C’est normal : elle produit une nouvelle réponse au lieu de lire un texte tout fait.

Au sein d’une même conversation, elle suit les échanges, mais entre deux conversations distinctes, elle repart généralement de zéro : elle n’a pas de véritable mémoire de vous, sauf si une fonctionnalité est activée.

La considérer comme une prédiction du mot suivant fait perdre son mystère à tout le reste. Ce n’est pas un oracle sage, mais un remarquable système qui repère les régularités : faites-lui confiance pour les connaissances générales, mais vérifiez les faits précis.

Lorsqu’une réponse vous impressionne, elle a été construite mot probable après mot probable. Lorsqu’elle se trompe, c’est le même processus qui a choisi un mot erroné mais plausible. Un seul mécanisme, deux résultats.

La plupart des gens utilisent des agents conversationnels sans savoir comment ils fonctionnent. Vous en comprenez maintenant le principe essentiel : prédire le mot suivant, recommencer, et une réponse utile apparaît. Cela suffit déjà à vous donner une longueur d’avance.

Comment un agent conversationnel produit-il réellement sa réponse ?

Un agent conversationnel rédige en prédisant le mot suivant, encore et encore. Il a appris les régularités à partir de quantités énormes de textes, ce qui lui donne une apparence humaine, mais il vise des mots qui sonnent juste, pas toujours des mots vrais.