Concevoir des exemples efficaces

Dans les invites à quelques exemples, vos démonstrations sont l’ensemble d’entraînement, simplement fourni au moment de l’inférence. Toutes les propriétés importantes pour les données de réglage fin s’appliquent : représentativité, couverture, exactitude des étiquettes, diversité et absence de fuite de données.

Des exemples négligés enseignent des comportements négligés. Le modèle imitera fidèlement les hésitations, la verbosité, le formatage incohérent et les erreurs de raisonnement subtiles présents dans vos démonstrations.

Choisissez des démonstrations dont la distribution des entrées correspond au trafic de production. Un ensemble de démonstrations composé de cas impeccables, courts et faciles échouera face aux entrées désordonnées, longues et ambiguës que vos utilisateurs envoient réellement.

Prélevez des journaux réels, regroupez-les et choisissez un représentant par groupe. Cette méthode couvre bien mieux les modes de votre distribution que la sélection manuelle d’exemples impressionnants, mais atypiques.

Au-delà des entrées typiques, incluez délibérément les cas limites sur lesquels le modèle se trompe : négations, entrées comportant plusieurs étiquettes, sarcasme, unités et réponses nulles. Une seule démonstration montrant le traitement correct d’un refus explicite ou d’un résultat vide enseigne un comportement que des instructions en prose sécurisent rarement.

Conservez un ensemble évolutif de cas d’échec recueillis en production et faites régulièrement entrer dans l’invite ceux qui sont les plus instructifs.

Chaque démonstration doit utiliser un formatage identique : mêmes délimiteurs, même ordre des clés, même casse, mêmes espaces et même style de raisonnement. Le modèle prête attention aux régularités de surface ; toute incohérence devient du bruit qu’il peut reproduire de manière imprévisible.

Vérifiez automatiquement vos exemples. Si les sorties sont au format JSON, validez chacune d’elles par rapport au schéma avant de l’intégrer à une invite.

Les démonstrations redondantes gaspillent le contexte et amplifient les biais qu’elles partagent. Maximisez la quantité d’information par jeton en sélectionnant un sous-ensemble diversifié, par exemple au moyen de la pertinence marginale maximale (MMR), qui établit un compromis entre la pertinence et la dissimilarité par rapport aux exemples déjà choisis.

La diversité doit couvrir les dimensions importantes pour votre tâche, et pas seulement la forme lexicale de surface.

Pour les tâches de raisonnement, la sortie de la démonstration doit reproduire exactement la trajectoire de réflexion souhaitée : concise, correcte et toujours organisée de la même manière. Si une démonstration raisonne en trois étapes et une autre en sept, le modèle n’apprend aucune stratégie stable.

Préférez un raisonnement bref et vérifiable à une narration détaillée ; les justifications longues augmentent le coût des démonstrations et peuvent enseigner un style bavard.

Les démonstrations peuvent laisser fuir des indices fallacieux. Si chaque exemple positif est par hasard long et chaque exemple négatif court, le modèle apprend la longueur et non le sentiment. Vérifiez vos démonstrations pour repérer les corrélations accidentelles entre les caractéristiques superficielles et les étiquettes.

Évitez également de laisser fuiter la réponse dans la formulation de l’entrée (par exemple, une démonstration dont l’entrée contient déjà l’étiquette cible sous forme de mot).

Mélangez les niveaux de difficulté afin que le modèle voie à la fois des correspondances faciles et difficiles, mais surveillez la longueur des exemples. Des démonstrations très longues évinceraient la requête en cours et peuvent provoquer des effets de perte au milieu, dans lesquels le contexte central reçoit moins d’attention.

Répartissez les démonstrations par longueur et visez un ensemble équilibré et compact qui couvre néanmoins votre éventail de difficultés.

Pour définir les limites, incluez des démonstrations de ce que le modèle ne doit pas faire, associées à la réponse correcte. Montrez une demande qui doit être refusée ou une entrée hors périmètre qui produit une réponse nulle appropriée.

Ces démonstrations négatives sont souvent les exemples les plus déterminants pour la sécurité, le contrôle du périmètre et la gestion structurée des valeurs nulles.

Les ensembles de démonstrations sont des artefacts qui doivent être gérés par versions et soumis à des tests de régression. Lorsque vous remplacez un exemple, relancez votre harness d’évaluation ; une seule mauvaise démonstration peut faire baisser la précision de plusieurs points ou modifier le format de sortie.

Associez à chaque déploiement d’invite le hachage de son ensemble de démonstrations afin de pouvoir attribuer précisément les évolutions de qualité et effectuer un retour en arrière ciblé.

Pour tout rassembler : recueillez des entrées réelles, annotez-les soigneusement, regroupez-les pour assurer la couverture, appliquez MMR pour obtenir de la diversité, équilibrez les longueurs, vérifiez automatiquement le format, recherchez les raccourcis et validez enfin le tout sur un ensemble mis de côté avant la mise en production.

Cette chaîne de traitement transforme la conception des exemples, qui ne repose plus sur l’intuition, en un processus d’ingénierie reproductible.

Appliquez les principes de conception des exemples à un mode d’échec subtil.

Points clés :

• Les démonstrations sont des données d’entraînement fournies au moment de l’inférence ; sélectionnez-les avec la rigueur applicable à un jeu de données.
• Faites correspondre la distribution des entrées de production au moyen du regroupement et couvrez délibérément les cas limites difficiles.
• Imposez une stricte cohérence du formatage et vérifiez les sorties par rapport à un schéma.
• Maximisez la diversité par jeton avec MMR et équilibrez la difficulté ainsi que la longueur.
• Recherchez les raccourcis fallacieux et les fuites, incluez des démonstrations négatives ou de refus et gérez chaque ensemble de démonstrations par version.