0Pricing
MLOps Academy · Leçon

Versionner les invites et évaluer les sorties

Suivez les modifications des invites et évaluez les réponses.

Versionner les invites et évaluer les sorties est une leçon MLOps Academy gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage MLOps Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours MLOps Academy comprend 4 leçons au total.

Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.

Prompts Are Code

A reworded prompt can change behavior overnight. So you treat each prompt as a versioned artifact, with history, review, and the ability to roll back. 📝

Store Prompts, Not Strings

Hard-coded strings scattered in code are impossible to track. Keep prompts in a registry or files so every change is visible and diffable.

prompts/summarize_ticket.v2.txt
prompts/summarize_ticket.v3.txt

Tag Each Version

Give every prompt a clear version id you can pin in code. Then you always know exactly which wording produced a given output.

PROMPT_VERSION = "summarize-v3"
template = load_prompt(PROMPT_VERSION)

Build an Eval Dataset

Collect real inputs with the answers you want. This eval set is your yardstick for judging whether a prompt change actually helped.

cases = [
  {"input": "ticket text...", "expected": "Refund requested"},
]

Score Against References

For tasks with a known answer, compare output to the expected text. A simple metric like exact match or F1 gives you a fast pass-fail signal.

Use an LLM as Judge

For open-ended text, ask another model to grade the answer against a rubric. This LLM-as-judge pattern scales scoring beyond hand-written rules.

judge_prompt = "Rate 1-5 how well the summary captures the ticket:\n{output}"

Watch the Judge Itself

Judges can be biased or inconsistent. You keep them honest by spot-checking scores against a few human ratings on the same cases.

Run Evals on Every Change

Before shipping a new prompt, run it across the whole eval set. You only promote it if the score holds or improves, never on a hunch.

old = run_eval("summarize-v2")
new = run_eval("summarize-v3")
assert new.score >= old.score

Track Regressions

A prompt that fixes one case can break another. Comparing per-case results catches these regressions before users ever see them.

Frameworks Help

Tools like promptfoo or OpenAI Evals run datasets, call models, and report scores for you. A framework turns ad-hoc testing into a repeatable suite.

Pin the Winner

Once a version wins on your evals, pin it in production and archive the rest. You now have a clear, auditable trail from prompt to result.

Quick Check

You need to score open-ended summaries with no single correct answer. What fits best?

Recap

You learned to version prompts, build an eval set, score with metrics or an LLM judge, and gate releases on results. No more guessing! 🎉

Questions Fréquemment Posées

La leçon « Versionner les invites et évaluer les sorties » est-elle gratuite ?

Oui — le texte complet de « Versionner les invites et évaluer les sorties » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours MLOps Academy, passe à CoddyKit PRO. Le cours MLOps Academy comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « Versionner les invites et évaluer les sorties » ?

Suivez les modifications des invites et évaluez les réponses. Tu pratiques MLOps Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer MLOps Academy ?

Aucune expérience préalable n'est requise. MLOps Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.

Combien de temps prend la leçon « Versionner les invites et évaluer les sorties » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon MLOps Academy ?

Oui. Chaque leçon MLOps Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

  1. En quoi LLMOps diffère du MLOps classique
  2. Versionner les invites et évaluer les sorties
  3. Tracer et surveiller les appels aux LLM
  4. Garde-fous et évaluation de RAG
← Retour à MLOps Academy