Tests A/B des invites

Tout comme les sites web évaluent différentes conceptions, nous pouvons effectuer une évaluation A/B des instructions destinées aux grands modèles de langage (LLM) !

L’évaluation A/B nous aide à comparer deux versions ou plus d’une instruction afin de déterminer laquelle est la plus performante pour une tâche donnée.

C’est un moyen puissant de prendre des décisions fondées sur les données concernant la conception de vos instructions.

Les réponses des LLM peuvent varier considérablement à la suite de petites modifications d’une instruction. L’évaluation A/B nous aide à :

• Optimiser les performances : trouver l’instruction qui fournit le résultat le plus précis ou le plus souhaité.
• Améliorer l’expérience utilisateur : garantir que votre application fournit les meilleurs résultats possibles aux utilisateurs.
• Réduire les coûts : une instruction plus concise peut parfois être tout aussi efficace, ce qui réduit l’utilisation de jetons.

À la base, l’évaluation A/B consiste à comparer deux versions :

• Version A (témoin) : il s’agit de votre instruction actuelle ou d’origine.
• Version B (variante) : il s’agit d’une version modifiée dans laquelle vous changez un seul élément précis.

L’essentiel est d’isoler une seule modification afin d’en comprendre clairement l’impact.

Avant de commencer, vous devez savoir ce que signifie « meilleur ». Pour cela, vous devez définir des métriques claires.

Par exemple, pour une tâche de résumé, les métriques peuvent être les suivantes :

• Concision : le résumé est-il plus court ?
• Pertinence : reprend-il tous les points importants ?
• Lisibilité : est-il facile à comprendre ?

Ces métriques vous aident à évaluer objectivement les sorties produites par les instructions.

La mise en place d’une évaluation A/B des instructions suit un déroulement simple :

1. Définir l’objectif : que cherchez-vous à accomplir ? (par exemple, une meilleure analyse des sentiments).
2. Identifier la variable : quel aspect unique de l’instruction allez-vous modifier ? (par exemple, ajouter « agir comme un analyste professionnel »).
3. Créer les variantes : concevez l’instruction A (témoin) et l’instruction B (variante).
4. Recueillir les données : exécutez les deux instructions avec le même ensemble d’entrées.
5. Analyser les résultats : comparez les sorties aux métriques que vous avez définies.

Supposons que nous souhaitions résumer un article d’actualité. Voici notre instruction témoin (instruction A) :

Cette instruction est simple : elle demande un résumé concis. Nous l’utiliserons comme référence initiale.

Créons maintenant l’instruction B en modifiant une variable : ajoutons un rôle. Nous souhaitons obtenir un résumé plus formel et analytique.

En ajoutant ce rôle et des consignes précises, nous nous attendons à obtenir un type de résumé différent.

Pour recueillir les données, vous exécuteriez les instructions A et B sur un ensemble varié d’articles identiques.

Pour chaque article, vous obtiendriez deux résumés : un produit par l’instruction A et un par l’instruction B.

Vous compareriez ensuite ces paires de résumés à l’aide des métriques définies (par exemple, la concision, la pertinence et le ton) afin de déterminer quelle instruction est la plus performante.

Après avoir recueilli les données, vous analyserez les sorties. Cela peut notamment consister à :

• Effectuer un examen manuel : des évaluateurs humains attribuent une note aux résumés.
• Utiliser des métriques automatisées : utiliser des outils pour vérifier la longueur, la présence de mots-clés ou même demander à un autre LLM d’évaluer la pertinence.

Recherchez des tendances constantes. L’instruction B produit-elle systématiquement des résumés plus analytiques que l’instruction A dans tous les cas évalués ?

Vous avez conçu deux instructions pour un agent conversationnel : l’instruction A fournit une réponse directe, tandis que l’instruction B vise un ton plus empathique. Vous exécutez chacune d’elles avec 100 requêtes d’utilisateurs.

Quel est le principe le plus important à respecter lorsque vous créez l’instruction B à partir de l’instruction A pour réaliser une évaluation A/B efficace ?

Nous avons appris que l’évaluation A/B est une méthode structurée pour comparer des variantes d’instructions, qui nous aide à optimiser les performances des LLM.

• Isoler les variables : ne changez qu’un seul élément entre l’instruction A et l’instruction B.
• Définir les métriques : sachez comment vous mesurerez la réussite.
• Recueillir et analyser : exécutez les deux instructions sur des entrées identiques et comparez les résultats.

Cette approche méthodique garantit que vos efforts d’ingénierie des instructions reposent sur les données et sont efficaces !