Måledata for evaluering av prompter

Evalueringsmetrikker faller vanligvis inn i to hovedkategorier:

• Kvantitative metrikker: Målbare, objektive resultater. Tenk på tall, prosenter eller bestemte antall.
• Kvalitative metrikker: Subjektive menneskelige vurderinger av aspekter som stil, tone eller generell nytte.

Begge deler er avgjørende for å få et helhetlig bilde av ytelsen.

En av de viktigste kvantitative metrikkene er nøyaktighet. Den måler om resultatet fra LLM-en er faktamessig korrekt og fritt for feil eller «hallusinasjoner».

• Bruksområde: Avgjørende for oppgaver som å oppsummere dokumenter, svare på faktaspørsmål eller generere kode.
• Måling: Innebærer ofte å sammenligne svaret fra LLM-en med en kjent «fasit» eller verifiserte data.

I tillegg til nøyaktighet er det viktig at svaret fra LLM-en er relevant og fullstendig:

• Relevans: Svarer resultatet direkte på hensikten med prompten? Holder det seg til temaet og er det konsentrert?
• Fullstendighet: Inneholder resultatet all nødvendig informasjon som prompten ber om? Mangler det viktige detaljer?

Disse metrikkene vurderer lesbarheten og den logiske flyten i den genererte teksten:

• Sammenheng: Gir teksten logisk mening? Er ideene knyttet sammen på en god måte og presentert i en fornuftig rekkefølge?
• Flyt: Er språket naturlig, grammatisk korrekt og lett å lese? Høres det ut som om det er skrevet av et menneske?

Dette vurderes ofte best av menneskelige evaluatorer.

Når du ber en LLM opptre som en «vennlig assistent» eller en «formell juridisk ekspert», angir du en tone og en stil. Metrikker kan vurdere om LLM-en holder seg til disse:

• Tone: Er den følelsesmessige kvaliteten (f.eks. formell, uformell eller entusiastisk) i tråd med prompten?
• Stil: Følger teksten bestemte krav til formatering, ordforråd eller struktur?

En avgjørende del av ansvarlig AI-utvikling er å evaluere resultater med tanke på potensiell skade:

• Sikkerhet: Unngår resultatet å generere skadelig, støtende eller upassende innhold?
• Skjevhet: Viderefører resultatet stereotypier, viser det urettferdig behandling eller gjenspeiler det samfunnsmessige skjevheter?

Dette krever nøye vurdering og ofte en kombinasjon av menneskelig gjennomgang og spesialiserte verktøy for oppdagelse.

Hvordan bruker vi egentlig disse metrikkene?

• Menneskelig evaluering: Gullstandarden for kvalitative aspekter, nyanser og sikkerhet. Kan være tidkrevende og kostbar.
• Automatiserte metrikker: Raske og skalerbare for kvantitative kontroller (f.eks. sammenligning av tekstlikhet og telling av nøkkelord). Kan overse subtile feil.

En kombinasjon av begge fremgangsmåtene gir ofte den mest robuste evalueringen.

Godt jobbet! Du har lært hvor viktig det er å evaluere resultater fra LLM-er ved hjelp av objektive metrikker.

• Vi har sett på hvorfor objektiv måling er avgjørende for prompt engineering.
• Metrikker kan være kvantitative (som nøyaktighet, relevans og fullstendighet) eller kvalitative (som sammenheng, flyt, tone, stil, sikkerhet og skjevhet).
• En balansert fremgangsmåte, som ofte kombinerer menneskelig og automatisert evaluering, gir en robust arbeidsmåte for prompt engineering.