Kategoriske eksempler

Et godt sæt har eksempler på begge sider af grænsen, hver med en begrundelse på én linje. To tilfælde, der skal RAPPORTERES, og to, der skal IGNORERES, er nok til de fleste tvetydigheder — 2-4 målrettede eksempler er det ideelle antal.

Hvert eksempel består af tre dele:

• inputtet (det, der vurderes)
• afgørelsen (rapportér / ignorér)
• en kort begrundelse knyttet til dit kriterium

Det er begrundelsen, der lader modellen generalisere korrekt i stedet for blot at matche overfladiske træk.

Her er en blok med kategoriske eksempler til opgaven med kommentargennemgang. Bemærk symmetrien: Modsigelser rapporteres; harmløse uoverensstemmelser ignoreres.

Styrken ved kategoriske eksempler er, at modellen generaliserer. Den behøver ikke et eksempel for hvert muligt input.

Ud fra de fire tilfælde ovenfor lærer Claude reglen „markér semantiske modsigelser, ignorér harmløse uoverensstemmelser“ og anvender den på en helt ny kommentar, den aldrig har set før, f.eks. en docstring, der hævder, at en funktion returnerer en liste, selv om den returnerer en dict.

Det er derfor, few-shot-eksempler er ideelle til ensartethed, kanttilfælde, outputformat og færre hallucinationer.

De mest værdifulde eksempler ligger lige på grænsen, hvor beslutningen reelt er svær. Et næsten-matchende tilfælde, der skal IGNORERES, ved siden af et næsten-matchende tilfælde, der skal RAPPORTERES, lærer langt mere end to indlysende tilfælde.

For en researchagent, der afgør, hvilke statistikker der skal fremhæves, kan du f.eks. sammenligne et forældet tal med et aktuelt — og bemærke, at datoer ofte løser tilsyneladende modsigelser, i stedet for at det ene tal blot er forkert.

Kategoriske eksempler passer naturligt sammen med struktureret output. Når afgørelsen skal kunne læses af en maskine, skal du tvinge et værktøjskald igennem, så resultatet altid er gyldig JSON.

Brug tool_choice af typen "any" for at garantere, at modellen kalder et eller andet værktøj (og dermed garantere struktureret output), eller tving den til at bruge ét bestemt værktøj ved navn. Et JSON Schema eliminerer derefter syntaksfejl og håndhæver påkrævede felter.

En subtil fælde: Markér i dit resultat-skema et felt som påkrævet, kun hvis det altid findes. Hvis du kræver et felt, der kan mangle — f.eks. et line_number for resultater, der ikke er knyttet til en bestemt linje — vil modellen opfinde en værdi for at opfylde skemaet.

For kategorier, der kan udvides, skal du bruge en enum plus en „other“-værdi og et fritekstfelt til detaljer. Det holder outputtet struktureret og gør det samtidig udvideligt.

Kategoriske eksempler skærper en vurderingsgrænse. De opfinder ikke manglende oplysninger.

Hvis modellen returnerer et tomt eller forkert resultat, fordi den nødvendige oplysning ganske enkelt mangler i kilden, hjælper flere eksempler ikke — og det gør retry-med-feedback heller ikke. Retry løser format-, struktur- og regnefejl, ikke manglende data.

Skeln mellem et ægte tomt resultat („ingen match fundet“) og en adgangsfejl (kilden kunne ikke læses). Håndtér dem forskelligt i din gendannelseslogik.

Indarbejd din politik for rapportering og ignorering dér, hvor arbejdet foregår. Til en CI-gennemgangsopgave skal du placere eksemplerne i projektets CLAUDE.md (delt via VCS), så hver kørsel og hver kollega arver den samme grænse.

I CI skal du køre gennemgangen i en isoleret session (mindre forudindtaget end genereringskonteksten) med -p til ikke-interaktivt output. Eksplicitte kriterier plus kategoriske eksempler er netop måden, du minimerer falske positiver på.

Den fulde opskrift på beslutningen om at rapportere eller ignorere:

• Skriv ét eksplicit kriterium for grænsen.
• Tilføj 2-4 kategoriske eksempler fordelt på begge sider, hvert med en begrundelse.
• Forankr eksempler ved de skarpe grænser, ikke ved de indlysende tilfælde.
• Tving struktureret output med et værktøj, og kræv kun felter, der altid findes.
• Husk: Eksempler former vurderingen, ikke manglende data.

Gør du dette, generaliserer Claude pålideligt din hensigt på tværs af input, det aldrig har set før.

Vigtigste pointer:

• Eksplicitte kriterier + kategoriske eksempler slår vage tillægsord ved uklare grænser.
• Brug 2-4 eksempler fordelt på rapportér og ignorér, hvert med en begrundelse; modellen generaliserer, den gentager ikke bare.
• Forankr eksempler ved de skarpe grænser; husk, at datoer ofte løser tilsyneladende modsigelser.
• Kombinér med struktureret output (tool_choice "any" + JSON Schema); kræv kun felter, der altid findes, og brug enum+"other" for udvidelsesmuligheder.
• Eksempler skærper vurderingen, ikke manglende data — fraværende fakta kræver en anden løsning, og et nyt forsøg reparerer kun format- eller regnefejl.