Versioi promptit ja arvioi tulosteet
Seuraa promptien muutoksia ja pisteytä vastaukset.
Versioi promptit ja arvioi tulosteet on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Kehotteet ovat koodia
Uudelleen muotoiltu kehote voi muuttaa toimintaa yhdessä yössä. Siksi käsittelette jokaista kehotetta versioituna artefaktina, jolla on historia, katselmointi ja palautusmahdollisuus. 📝
Tallentakaa kehotteet, älkää merkkijonoja
Koodiin sirotellut kovakoodatut merkkijonot ovat mahdottomia seurata. Säilyttäkää kehotteet rekisterissä tai tiedostoissa, jotta jokainen muutos näkyy ja erot voidaan tarkistaa.
prompts/summarize_ticket.v2.txt
prompts/summarize_ticket.v3.txtMerkitkää jokainen versio
Antakaa jokaiselle kehotteelle selkeä versiotunnus, jonka voitte kiinnittää koodissa. Näin tiedätte aina tarkasti, mikä sanamuoto tuotti tietyn tuloksen.
PROMPT_VERSION = "summarize-v3"
template = load_prompt(PROMPT_VERSION)Rakentakaa arviointiaineisto
Kerätkää todellisia syötteitä ja niille haluamanne vastaukset. Tämä arviointiaineisto toimii mittapuuna, kun arvioitte, auttoiko kehotteen muutos todella.
cases = [
{"input": "ticket text...", "expected": "Refund requested"},
]Pisteyttäkää vertailuvastauksia vasten
Kun tehtävällä on tunnettu vastaus, verratkaa tulosta odotettuun tekstiin. Yksinkertainen mittari, kuten täsmällinen osuma tai F1, antaa nopeasti hyväksytty/hylätty-signaalin.
Käyttäkää LLM:ää tuomarina
Pyytäkää avoimesta tekstistä toista mallia arvioimaan vastaus arviointikriteerien perusteella. Tämä LLM tuomarina -malli laajentaa pisteytyksen käsin kirjoitettuja sääntöjä pidemmälle.
judge_prompt = "Rate 1-5 how well the summary captures the ticket:\n{output}"Valvokaa myös tuomaria
Tuomarit voivat olla puolueellisia tai epäjohdonmukaisia. Pidätte ne luotettavina vertaamalla pisteitä pistokokein muutamiin ihmisten arvioihin samoista tapauksista.
Suorittakaa arvioinnit jokaisen muutoksen yhteydessä
Ennen uuden kehotteen julkaisemista suorittakaa se koko arviointiaineistolla. Ottakaa se käyttöön vain, jos pistemäärä säilyy ennallaan tai paranee, ei koskaan pelkän oletuksen perusteella.
old = run_eval("summarize-v2")
new = run_eval("summarize-v3")
assert new.score >= old.scoreSeuratkaa regressioita
Yhden tapauksen korjaava kehote voi rikkoa toisen. Tapauskohtaisten tulosten vertailu havaitsee nämä regressiot ennen kuin käyttäjät näkevät ne.
Kehykset auttavat
promptfoon tai OpenAI Evals -työkalujen kaltaiset työkalut suorittavat aineistoja, kutsuvat malleja ja raportoivat pisteet puolestanne. Kehys muuttaa tapauskohtaisen testauksen toistettavaksi testikokonaisuudeksi.
Kiinnittäkää voittaja
Kun versio menestyy arvioinneissa, kiinnittäkää se tuotantoon ja arkistoikaa muut. Nyt teillä on selkeä ja auditoitava jäljitysketju kehotteesta tulokseen.
Pikatarkistus
Teidän on pisteytettävä avoimia yhteenvetoja, joille ei ole yhtä oikeaa vastausta. Mikä sopii parhaiten?
Kertaus
Opitte versioimaan kehotteita, rakentamaan arviointiaineiston, pisteyttämään mittareilla tai LLM-tuomarilla ja asettamaan julkaisujen ehdoksi tulokset. Ei enää arvailua! 🎉
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Versioi promptit ja arvioi tulosteet” ilmainen?
Kyllä – oppitunnin ”Versioi promptit ja arvioi tulosteet” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Versioi promptit ja arvioi tulosteet”?
Seuraa promptien muutoksia ja pisteytä vastaukset. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.
Kuinka kauan ”Versioi promptit ja arvioi tulosteet”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miten LLMOps eroaa perinteisestä MLOpsista
- Versioi promptit ja arvioi tulosteet
- Jäljitä ja valvo LLM-kutsuja
- Guardrails ja RAG-arviointi