Stratificeret sampling og kalibrering

Almindelig tilfældig stikprøveudtagning udtager for mange prøver af det, der er almindeligt. Hvis 95 % af dine fakturaer er simple kvitteringer i én valuta, vil en tilfældig stikprøve på 200 være cirka 190 nemme tilfælde og måske en håndfuld af de vanskelige med fremmed valuta — for få til at opdage en fejlrate på 40 % i det udsnit.

Stratificeret stikprøveudtagning løser dette: Definér relevante segmenter (dokumenttype, sprog, leverandør og tilstedeværelse af felter), og udtag derefter en stikprøve fra hvert segment. Nu måles det sjældne udsnit med tilstrækkelig statistisk styrke til tydeligt at vise, hvis det er defekt.

Du måler den population, du er bekymret for, ikke den population, der tilfældigvis er størst.

Gode lag isolerer de dimensioner, hvor adfærden plausibelt afviger. For en pipeline til struktureret udtræk (scenarie 6) omfatter nyttige segmenter:

• Dokumenttype — faktura kontra kvittering kontra kontoudtog.
• Felt — totaler, datoer, valuta og linjeposter. Feltniveauet er vigtigt, fordi 97% samlet kan skjule 60% for valutafeltet.
• Randbetingelser — dokumenter på flere sider, scannede dokumenter eller dokumenter i lav kvalitet, flersprogede dokumenter eller poster, hvor et valgfrit felt er fraværende.

Det sidste hænger sammen med en skemaregel: Markér aldrig et felt, der muligvis mangler, som påkrævet, for så fabrikerer modellen det. Stratificér efter tilstedeværelse/fravær, så du opdager fabrikation.

Konkret grupperer du din valideringspulje efter segment og udtager en fast kvote fra hvert — nok pr. lag til at have tillid til målingen for laget, ikke proportionalt med populationen.

For at kalibrere skal modellen angive en konfidensværdi for hvert felt, ikke én samlet score. Tving et struktureret output, så konfidens er et felt med en bestemt type, som du kan auditere — ikke prosa, du skal fortolke.

Brug tool_choice for at garantere, at modellen returnerer skemaet. "any" tvinger den til at kalde et vilkårligt værktøj; {"type":"tool","name":"X"} tvinger den til at kalde et bestemt værktøj. Et JSON Schema eliminerer syntaksfejl og håndhæver påkrævede felter.

En model er kalibreret, når dens angivne konfidens svarer til den observerede nøjagtighed: Af alle felter, den angiver med 0.90 konfidens, bør cirka 90 % være korrekte i forhold til facitdata.

Modellens rå konfidens er som regel for selvsikker — den angiver 0.95, men har ret 70 % af tiden. Du kan ikke stole på en tærskel for automatisk godkendelse, der bygger på ukalibrerede scorer; du ville automatisk godkende forkerte data.

Kalibrering kræver mærkede valideringssæt: menneskebekræftede facitdata for din stratificerede stikprøve. Der findes ingen genvej — modellens egen vurdering af konfidens alene er netop den slags signal, som eksamen siger, at du IKKE skal stole på ved automatiserede beslutninger.

Gruppér forudsigelser efter angivet konfidens, og sammenlign derefter den angivne konfidens for hver gruppe med dens faktiske nøjagtighed på det mærkede sæt. Forskellen er din kalibreringsfejl — og du beregner den pr. lag, så et velkalibreret "nemt" udsnit ikke kan skjule et defekt "svært" udsnit.

Når kalibreringen er på plads, udleder du en konfidensgrænse for hvert lag, der opfylder dit nøjagtighedskrav — eksempelvis automatisk godkendelse kun dér, hvor den kalibrerede nøjagtighed er ≥ 99 %. Tærsklen varierer efter segment: Nemme fakturaer i én valuta kan måske godkendes automatisk ved 0.85, mens linjer med fremmed valuta kræver 0.98 — eller fortsat skal gennemgås af et menneske.

Dette er forbindelsen mellem måling og tilsyn: Lag med lav konfidens eller lav nøjagtighed sendes til et menneske; kalibrerede lag med høj konfidens automatiseres. Én global tærskel ville enten give det vanskelige udsnit for meget tillid eller unødigt begrænse det nemme.

Konfidensen bliver bedre, når modellen kan krydskontrollere sig selv. Ved numerisk udtræk skal du få den til at angive både en calculated_total (summen af linjeposterne) og den stated_total, der står trykt på dokumentet, og derefter markere enhver uoverensstemmelse. Et mismatch er et hårdt, deterministisk signal — langt mere pålideligt end et tal for egenvurderet konfidens.

Kombinér dette med kildeoplysninger: Bevar kilden til hvert udsagn (dokumentnavn, citat og side), så et markeret felt kan spores og verificeres i stedet for blot at blive gættet igen.

Stratificerede kalibreringsaudits er store job, der ikke blokerer — præcis det, Message Batches API er beregnet til: 50 % billigere, et tidsvindue på op til 24 timer og ingen latenstids-SLA. Kør din natlige kalibreringsgennemgang som en batch, korrelér resultaterne med custom_id, og indsend kun fejlene igen.

Grænsen er vigtig til eksamen: Brug aldrig Batch API til blokerende eller tidsfølsomme kontroller (det har ingen latenstids-SLA og understøtter ikke værktøjskald i flere vendinger). En pre-merge-gate eller et live-udtræk skal blive på det synkrone API; den periodiske audit skal køre som batch.

Vigtigste pointer til eksamen og produktion:

• Samlet nøjagtighed skjuler fejl pr. type og pr. felt — automatisér aldrig alene ud fra et fremhævet gennemsnit.
• Stratificeret tilfældig stikprøveudtagning opdeler efter de dimensioner, der betyder noget (dokumenttype, felt og randbetingelser), og udtager stikprøver fra hvert, så sjældne udsnit får reel statistisk styrke.
• Kalibrering bringer angivet konfidens på linje med observeret nøjagtighed, dokumenteret på et mærket valideringssæt; modellens rå konfidens er for selvsikker, og egenvurderede scorer er ikke et pålideligt automatiseringssignal.
• Fastlæg tærskler for automatisk godkendelse pr. segment; automatisér kalibrerede lag med høj nøjagtighed, og send resten til mennesker.
• Styrk signalet med selvkorrektion (beregnet kontra angivet total) og kildeoplysninger; kør den omfattende kalibreringsaudit på Batch API — aldrig på en blokerende, tidsfølsom sti.