Zero-, one- og few-shot

One-shot fungerer best når oppgaven er konseptuelt tydelig, men utdataformatet er uvanlig eller strengt. Én enkelt demonstrasjon lærer modellen den nøyaktige formen (JSON-nøkler, skilletegn, bruk av store og små bokstaver) langt mer pålitelig enn en beskrivelse i prosa.

Bruk one-shot når De vil begrense strukturen uten å bruke mange tokens eller risikere skjevheten i etikettfordelingen som flere eksempler introduserer.

Ytelsen som funksjon av k er sjelden monoton. Den stiger vanligvis, flater ut og svekkes deretter når eksemplene fyller konteksten, sprer oppmerksomheten og skyver den aktuelle spørringen lenger bort fra modellens fokus på det nyeste innholdet.

Test empirisk k med verdiene {1, 2, 4, 8, 16} på et separat evalueringssett. Den optimale verdien av k avhenger av oppgavens kompleksitet, eksemplenens lengde og modellens effektive kontekstutnyttelse, som vanligvis er langt lavere enn det annonserte kontekstvinduet.

Forskning beskriver ICL som at modellen utfører implisitt bayesiansk inferens: Demonstrasjonene hjelper med å lokalisere det latente oppgavekonseptet modellen allerede lærte under forhåndstreningen. Eksemplene fungerer som evidens som snevrer inn posteriorfordelingen over oppgaver, ikke som ny kunnskap.

Dette forklarer et kontraintuitivt funn: Selv feilaktige etiketter i demonstrasjonene kan bevare mye av nøyaktigheten, fordi det dominerende signalet er formatet og etikettrommet, ikke selve koblingen mellom inndata og etikett.

Hver shot bruker kontekst og koster penger. Med lange demonstrasjoner kan fire eksempler være langt større enn spørringen. Beregn en måleverdi for kostnad per nøyaktighetspoeng: Hvis k=8 gir 0,5 % bedre resultat enn k=4 ved dobbelt så mange tokens, vinner k=4 i produksjon.

For rørledninger med høy gjennomstrømning bør De bruke hurtigbufring av den statiske eksempelblokken, slik at gjentatte demonstrasjoner faktureres og behandles bare én gang.

Few-shot-prompter har skjulte skjevheter. Skjevhet mot den vanligste etiketten gjør at modellen favoriserer den hyppigste klassen i demonstrasjonene. Recency-bias gir det siste eksemplet for stor vekt. Common-token-bias favoriserer tokens som forekommer ofte.

Kalibreringsteknikker som kontekstuell kalibrering estimerer modellens a priori-fordeling på en innholdsløs inndata (for eksempel tokenet N/A) og dividerer den bort, noe som stabiliserer few-shot-klassifikatorer kraftig.

For å motvirke skjevhet mot den vanligste etiketten bør De balansere klassene i demonstrasjonene og variere rekkefølgen. For binær klassifisering med k=4 bør De bruke 2 positive og 2 negative eksempler i tilfeldig rekkefølge, i stedet for 3:1.

For genereringsoppgaver bør De balansere etter de dimensjonene som betyr noe (lengde, tone, vanskelighetsgrad), slik at modellen ikke kollapser til én modus den har sett oftest.

Few-shot er riktig verktøy når oppgaven endres ofte, datamengden er liten, eller De ikke kan drifte en tilpasset modell. Finjustering lønner seg når De har tusenvis av eksempler, trenger lavest mulig latenstid per kall, eller vil bygge formatet inn i modellen slik at promptene kan være korte.

En vanlig vei til produksjon er å lage en prototype med few-shot, samle inn de vellykkede sporene og deretter destillere dem til en finjustert modell, slik at eksempel-tokenene kan fjernes helt.

For resonnering i flere trinn kan rå par med few-shot-svar skade: Modellen lærer å hoppe rett til et svar den ikke kan begrunne. Kombiner few-shot med chain-of-thought-demonstrasjoner som viser resonnementssporet, ikke bare den endelige etiketten.

Antallet shots påvirker samspillet med resonnementets dybde. Ofte slår k=2 eksempler av høy kvalitet med CoT k=8 eksempler som bare inneholder svar, i aritmetikk- og logikkstandardtester.

Behandle valg av antall shots som et empirisk søk støttet av et evalueringsrammeverk. Hold av et valideringssett, kontroller eksempelrekkefølgen med flere seed-verdier, og rapporter gjennomsnitt og varians, fordi few-shot-nøyaktigheten kan variere flere prosentpoeng utelukkende på grunn av rekkefølgen.

Loggfør tokenantall og latenstid per k, slik at det endelige valget optimaliserer hele målet, ikke bare nøyaktigheten.

Viktigste poenger:

• k er en justerbar hyperparameter. Test ulike verdier og følg kurven som stiger, flater ut og svekkes.
• Zero-shot egner seg for velkjente oppgaver, one-shot forankrer strenge formater, og few-shot tilpasser seg en oppgavefordeling.
• ICL fungerer ved å lokalisere en oppgave modellen har lært under forhåndstreningen, slik at format og etikettrom veier tyngre enn etikettenes korrekthet.
• Motvirk skjevhet mot den vanligste etiketten, recency-bias og common-token-bias med balansering, stokking og kontekstuell kalibrering.
• Optimaliser nøyaktighet per krone, kombiner resonneringsoppgaver med CoT-eksempler, og destiller stabile few-shot-prompter til finjusterte modeller.