Versionshantera prompter och utvärdera utdata
Följ ändringar i prompter och poängsätt svar.
Versionshantera prompter och utvärdera utdata är en gratis lektion i MLOps Academy på CoddyKit. Detta är lektion 2 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för MLOps Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i MLOps Academy innehåller totalt 4 lektioner.
Promptar är kod
En omformulerad prompt kan förändra beteendet över en natt. Därför behandlar du varje prompt som en versionshanterad artefakt med historik, granskning och möjlighet att återställa en tidigare version. 📝
Lagra promptar, inte strängar
Hårdkodade strängar utspridda i koden är omöjliga att spåra. Förvara promptar i ett register eller i filer, så att varje ändring syns och kan jämföras.
prompts/summarize_ticket.v2.txt
prompts/summarize_ticket.v3.txtMärk varje version
Ge varje prompt ett tydligt versions-id som du kan låsa fast i koden. Då vet du alltid exakt vilken formulering som gav ett visst resultat.
PROMPT_VERSION = "summarize-v3"
template = load_prompt(PROMPT_VERSION)Bygg ett evalueringsdataset
Samla in verkliga indata tillsammans med de svar du vill ha. Detta evalueringsset är din måttstock för att avgöra om en promptändring faktiskt hjälpte.
cases = [
{"input": "ticket text...", "expected": "Refund requested"},
]Poängsätt mot referenser
För uppgifter med ett känt svar jämför du resultatet med den förväntade texten. Ett enkelt mätvärde som exakt matchning eller F1 ger en snabb signal för godkänt eller underkänt.
Använd en LLM som bedömare
För öppna texter kan du be en annan modell att bedöma svaret mot en bedömningsmatris. Mönstret LLM-as-judge gör det möjligt att skala poängsättningen bortom handskrivna regler.
judge_prompt = "Rate 1-5 how well the summary captures the ticket:\n{output}"Övervaka även bedömaren
Bedömare kan vara partiska eller inkonsekventa. Du håller dem ärliga genom att stickprovskontrollera poängen mot några mänskliga bedömningar av samma fall.
Kör utvärderingar vid varje ändring
Innan du levererar en ny prompt kör du den mot hela evalueringssetet. Du godkänner den bara om poängen står sig eller förbättras, aldrig på grund av en magkänsla.
old = run_eval("summarize-v2")
new = run_eval("summarize-v3")
assert new.score >= old.scoreFölj regressioner
En prompt som löser ett fall kan förstöra ett annat. Genom att jämföra resultat per fall upptäcker du dessa regressioner innan användarna ens ser dem.
Ramverk hjälper
Verktyg som promptfoo eller OpenAI Evals kör dataset, anropar modeller och rapporterar poäng åt dig. Ett ramverk gör ad hoc-testning till en repeterbar testsvit.
Lås fast vinnaren
När en version vinner i dina utvärderingar låser du fast den i produktion och arkiverar resten. Nu har du en tydlig, granskningsbar kedja från prompt till resultat.
Snabb kontroll
Du behöver poängsätta öppna sammanfattningar utan ett enda korrekt svar. Vad passar bäst?
Sammanfattning
Du lärde dig att versionshantera promptar, bygga ett evalueringsset, poängsätta med mätvärden eller en LLM-bedömare och villkora leveranser utifrån resultaten. Slut på gissandet! 🎉
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”Versionshantera prompter och utvärdera utdata” gratis?
Ja – hela texten till ”Versionshantera prompter och utvärdera utdata” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i MLOps Academy, kan Ni uppgradera till CoddyKit PRO. Kursen i MLOps Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”Versionshantera prompter och utvärdera utdata”?
Följ ändringar i prompter och poängsätt svar. Ni övar på MLOps Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig MLOps Academy?
Du behöver inga förkunskaper. Utbildningen i MLOps Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 2 av 4.
Hur lång tid tar lektionen ”Versionshantera prompter och utvärdera utdata”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här MLOps Academy-lektionen?
Ja. Varje MLOps Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Hur LLMOps skiljer sig från klassisk MLOps
- Versionshantera prompter och utvärdera utdata
- Spåra och övervaka LLM-anrop
- Guardrails och RAG-utvärdering