Perdu au milieu

Dans les modèles à contexte long, la précision de récupération suit une courbe en U selon la position : les faits placés au début et à la fin du contexte sont bien rappelés, tandis que ceux placés au milieu le sont beaucoup moins. C'est l'effet de « perte au milieu ».

• Il s'agit d'une propriété de l'attention et de l'entraînement, pas d'un phénomène aléatoire.
• Il persiste même lorsque la réponse est présente sans ambiguïté.

La position n'est pas neutre ; c'est un facteur de fiabilité dont vous devez tenir compte dans votre conception.

Plusieurs facteurs se cumulent au milieu : les biais positionnels favorisent les jetons récents et les tout premiers jetons, les données d'entraînement surreprésentent les schémas où la réponse se trouve près du début ou de la fin, et le grand nombre d'éléments distracteurs concurrents à l'intérieur dilue l'attention portée à chaque fait.

Vous ne pouvez pas supprimer ce biais du modèle, mais vous pouvez cesser de lutter contre lui.

La première mesure d'atténuation, et la plus fiable : placez aux limites ce que le modèle doit utiliser. L'instruction de la tâche et les éléments les plus importants doivent se trouver près du haut et du bas, et non être enfouis au centre.

• Commencez par la tâche et les faits essentiels.
• Répétez l'instruction principale tout à la fin (« rappel de votre tâche : ... »).

Lorsque vous contrôlez l'ordre des blocs récupérés, ne les déversez pas dans l'ordre du score de récupération, du début à la fin. Entrelacez-les afin que les blocs les plus pertinents se trouvent aux deux extrémités et que les moins pertinents remplissent le milieu — en exploitant délibérément la courbe en U.

Ce « placement aux extrémités » peut récupérer une grande partie de la perte liée aux positions centrales.

La solution la moins coûteuse au problème de perte au milieu consiste à avoir moins de contenu au milieu. Un préfiltrage énergique — supprimer les blocs non pertinents avant l'assemblage — réduit la zone intérieure où les faits se perdent et concentre l'attention sur ce qui compte.

Une requête ciblée de 15 k jetons n'a pratiquement pas de milieu vulnérable ; une requête de 600 k jetons est presque entièrement constituée de milieu.

Donnez une carte au modèle. Une table des matières en haut, accompagnée d'ancrages de section clairs, permet au modèle de se diriger vers les zones pertinentes plutôt que de dépendre du rappel positionnel brut.

• Numérotez les sections et faites-y référence dans la question.
• Ajoutez des ancrages explicites tels que SECTION 7: PRICING, que le modèle peut rechercher.

La structure remplace en partie la fiabilité positionnelle.

Demandez au modèle d'énumérer où se trouve le contenu pertinent avant de répondre. Le fait de localiser d'abord les éléments probants contrecarre sa tendance à ignorer le milieu.

« Commencez par lister chaque section qui mentionne les frais de renouvellement avec son ancrage, puis répondez. » Cette analyse explicite fait apparaître le contenu central qu'une question directe aurait ignoré.

Si un fait crucial se retrouve dans la zone morte et que son rappel est incertain, relancez l'appel en déplaçant ce fait vers une extrémité. Pour les tâches comportant plusieurs faits, vous pouvez exécuter plusieurs passages en faisant varier les faits qui occupent les positions les plus fiables, puis rapprocher les résultats.

La rotation des positions est une astuce pratique pour renforcer la robustesse lorsqu'une seule disposition n'est pas fiable.

Pour les tâches exhaustives (« trouver toutes les violations »), une seule exécution géante ignorera certains éléments centraux. Divisez le contenu en fenêtres qui se chevauchent et qui sont suffisamment petites pour ne pas avoir de milieu faible, exécutez chacune, puis fusionnez les résultats et dédupliquez-les.

• Le chevauchement évite les éléments manqués aux limites.
• L'étape de fusion rapproche les doublons et les conflits.

Les tâches de couverture privilégient de nombreux petits passages plutôt qu'une seule exécution gigantesque.

La gravité de l'effet varie selon le modèle et la forme de la requête. Caractérisez-la : insérez un marqueur sentinelle à différentes profondeurs et tracez le rappel. Utilisez la courbe pour déterminer la longueur de contexte sûre et votre stratégie de placement aux extrémités pour ce modèle.

Concevez votre système en fonction de comportements mesurés, et non de croyances reçues.

Pour vaincre la perte au milieu : réduisez la botte de foin, placez le contenu le plus pertinent aux extrémités, reformulez la tâche à la fin, ajoutez un index et forcez une analyse de localisation avant la réponse, faites tourner les positions lorsque vous reposez la question et utilisez le découpage-fusion pour une couverture exhaustive. Surtout, mesurez la courbe de votre modèle et concevez votre système en conséquence.

Vous disposez d'un seul fait indispensable et d'un vaste contexte complémentaire, et vous avez remarqué que le modèle ignore parfois ce fait.

Le rappel dans un contexte long suit une courbe en U : les extrémités sont fiables, le milieu ne l'est pas. Contrez ce phénomène en réduisant la botte de foin, en plaçant les blocs les plus pertinents aux extrémités, en reformulant la tâche à la fin, en ajoutant un index et en forçant une analyse de localisation avant la réponse, en faisant tourner les positions lorsque vous reposez la question et en utilisant le découpage-fusion pour une couverture exhaustive. Mesurez la courbe réelle de votre modèle et concevez le placement en fonction de celle-ci, plutôt que de faire confiance à un rappel uniforme.