Ordre et récence des exemples

L’ordre des exemples utilisés avec quelques exemples peut faire varier la précision de plusieurs points de pourcentage, transformant parfois une invite presque aléatoire en une invite performante, et inversement. Cette instabilité existe même lorsque l’ensemble d’exemples reste fixe.

Traitez l’ordre comme un hyperparamètre à rechercher à part entière, et non comme un détail secondaire. Présenter des résultats avec quelques exemples sans contrôler l’ordre n’est pas scientifiquement rigoureux.

Les transformeurs ne comportant qu’un décodeur présentent un biais de récence : les jetons les plus proches du point de génération exercent une influence disproportionnée. La dernière démonstration avant la requête est la plus susceptible de déterminer le format, l’étiquette et le ton.

Ce phénomène est en partie un artefact des schémas d’attention et du codage positionnel. En pratique, ce que vous placez en dernier est ce que le modèle imite le plus facilement.

Les études sur les contextes longs révèlent un profil d’attention en forme de U : les modèles prêtent bien attention au début et à la fin du contexte, mais moins au milieu. Les démonstrations essentielles enfouies au milieu de l’invite sont en pratique négligées.

Placez vos exemples les plus importants ou les plus délicats au début ou, compte tenu du biais de récence, près de la fin ; ne les laissez jamais isolés au milieu d’un long bloc de démonstrations.

Les biais de récence et d’étiquette majoritaire se renforcent mutuellement. Si votre dernière démonstration appartient à la classe A, le modèle aura tendance à prédire A. Combiné à un ensemble de démonstrations composé majoritairement d’exemples A, le a priori devient fortement biaisé.

Pour une classification équilibrée, alternez les étiquettes et veillez à ce que le dernier exemple n’appartienne pas toujours à la même classe dans vos variantes d’invite.

Une heuristique robuste pour l’apprentissage en contexte augmenté par récupération avec quelques exemples consiste à classer les exemples récupérés par similarité croissante avec la requête, afin que l’exemple le plus pertinent soit placé au plus près de la requête et bénéficie de la récence.

Cette approche associe la sélection dynamique à l’exploitation de la récence : le contexte pertinent est présent et positionné là où le modèle porte le plus fortement son attention.

Pour le raisonnement ou la génération, un ordre de type curriculum (du plus facile au plus difficile) peut aider le modèle à construire le comportement attendu, en terminant par un exemple complexe qui montre toute la profondeur du raisonnement juste avant la requête.

Cela dépend de la tâche : validez cette approche en la comparant à des ordres aléatoires et fondés sur la similarité au lieu de supposer qu’elle sera bénéfique.

Quantifiez la fragilité de votre invite en échantillonnant de nombreux ordres et en indiquant la variance de l’exactitude. Une variance élevée signale une invite instable, susceptible de régresser de manière imprévisible en production.

Utilisez cette mesure pour comparer les conceptions d’invites : une invite robuste à l’ordre est plus sûre qu’une invite légèrement mieux notée, mais volatile.

Lorsque vous ne disposez pas d’étiquettes pour noter les ordres, vous pouvez utiliser select pour choisir un ordre à partir de l’entropie des prédictions du modèle sur un ensemble de sondage : les ordres qui produisent des prédictions confiantes, à faible entropie et bien réparties ont tendance à mieux se généraliser (Lu et al., 2022).

Vous pouvez ainsi choisir une bonne permutation sans ensemble de validation annoté.

La sensibilité à l’ordre et le biais de récence accentuent tous deux certaines étiquettes. L’étalonnage contextuel atténue ce phénomène en estimant la distribution a priori du modèle sur une entrée sans contenu, puis en corrigeant les probabilités prédites, ce qui réduit l’influence d’un ordre particulier.

Un étalonnage associé à un ordre convenable produit un comportement plus stable en production que la recherche de la permutation unique la plus performante.

Si vous utilisez la mise en cache des invites, le préfixe (y compris le bloc d’exemples) doit rester stable au niveau des octets pour que le cache soit utilisé. Réorganiser fréquemment les exemples à chaque requête empêche leur réutilisation dans le cache et augmente le coût ainsi que la latence.

Solution : fixez un ordre unique et validé pour le bloc statique d’exemples et mettez-le en cache ; réservez le réordonnancement dynamique à la fin récupérée, spécifique à la requête.

Réglages pratiques par défaut : équilibrez les étiquettes et alternez-les, placez les exemples clés ou difficiles aux extrémités (évitez le milieu), classez les exemples récupérés par similarité croissante afin que le meilleur soit proche de la requête, mesurez la variance selon l’ordre et appliquez un étalonnage pour réduire le biais résiduel.

Figez ensuite l’ordre pour la mise en cache et validez-le de nouveau chaque fois que l’ensemble d’exemples change.

Points essentiels :

• L’ordre des exemples est un hyperparamètre qui peut faire varier l’exactitude de plusieurs points de pourcentage ; utilisez search et rendez compte de la variance.
• Le biais de récence rend le dernier exemple le plus influent ; le phénomène « perdu au milieu » sous-pondère les exemples centraux.
• Équilibrez et alternez les étiquettes, classez les exemples récupérés par similarité croissante et envisagez un ordre curriculum.
• Lorsque les étiquettes sont rares, sélectionnez les ordres à l’aide de l’entropie et appliquez un étalonnage contextuel pour réduire le biais.
• Figez un ordre stable pour la mise en cache des invites ; ne réorganisez que la fin récupérée dynamiquement.