Geaggregeerde metrics verbergen fouten

Dit is de foutmodus die je volgens het examen moet herkennen: geaggregeerde nauwkeurigheid kan slechte prestaties voor een specifiek documenttype of veld verbergen.

Contracten met 93,5% kunnen je documenten met de hoogste waarde en de grootste aansprakelijkheid zijn. Een handvol verkeerd uit contracten geëxtraheerde clausules kan meer kosten dan duizenden correct verwerkte kassabonnen ooit hebben bespaard. Toch rapporteert het dashboard vrolijk 97% en nodigt het je uit om te automatiseren.

Het getal is niet fout. Het beantwoordt alleen de verkeerde vraag. "Hoe goed zijn we gemiddeld?" is zelden de vraag die ertoe doet. "Waar zijn we het zwakst en hoeveel kost die zwakte ons?" is dat wel.

Het wordt subtieler. Zelfs binnen één documenttype kan de fout in één veld zitten. Een contractextractor kan partijen, datums en adressen perfect verwerken en toch in 20% van de gevallen stilletjes de termination_clause of liability_cap verminken.

Als je die velden samen gemiddeld, zie je nog steeds een comfortabele score. Deel daarom uit langs beide assen: op documenttype EN op veld. De cel waarin een kritisch documenttype samenkomt met een kritisch veld is waar je werkelijke risico zich concentreert.

Hoe breng je deze verborgen cellen aan het licht? Niet door 100 willekeurige documenten te steekproeven — willekeurige steekproeven weerspiegelen je volumeverdeling, waardoor zeldzame maar kritieke typen vrijwel geen dekking krijgen.

Gebruik gestratificeerde willekeurige steekproeven: verdeel de populatie in strata (documenttype, bron, kritikaliteit van het veld) en neem vervolgens binnen elk stratum willekeurig steekproeven. Nu krijgt je contracttype met een laag volume een statistisch betekenisvolle steekproef in plaats van drie toevallige trekkingen.

Dit is de door het examen aanbevolen techniek om op te sporen wat aggregaten verbergen.

Gestratificeerde steekproeven vertellen je waar je offline staat. Om per document, in productie te beslissen of je automatisch accepteert of het naar een mens doorstuurt, heb je betrouwbaarheid per veld nodig die is geijkt op een gelabelde validatieset.

"Geijkt" is het cruciale woord. Een ruwe score die op betrouwbaarheid lijkt, betekent niets totdat je aan de hand van de juiste antwoorden hebt gecontroleerd dat documenten met een score van 0,9 in ongeveer 90% van de gevallen daadwerkelijk correct zijn. Kalibreer eerst; pas daarna betekent een drempel zoals "automatisch accepteren boven 0,97" wat je denkt dat die betekent.

Geijkte betrouwbaarheid is niet het enige signaal. Bij numerieke extractie kun je het model zijn eigen werk laten tonen, zodat je fouten deterministisch kunt opsporen.

Extraheer beide calculated_total (opgeteld uit de regelitems) en stated_total (het afgedrukte totaal). Wanneer ze van elkaar verschillen, heb je een afwijking gevonden die geen enkele geaggregeerde metriek ooit zou onthullen — een verifieerbare waarschuwing op documentniveau die rechtstreeks naar controle wordt doorgestuurd.

Wanneer een document met lage betrouwbaarheid of een afwijking aan het licht komt, wees dan precies over de oplossing. Opnieuw proberen met feedback herstelt opmaak-, structurele en rekenkundige fouten — stuur het oorspronkelijke document, de onjuiste uitvoer en de exacte validatiefout terug naar het model.

Opnieuw proberen helpt echter niet wanneer de informatie eenvoudigweg ontbreekt in de bron. Als het contract geen aansprakelijkheidslimiet vermeldt, zal geen enkele nieuwe prompt er een tevoorschijn toveren — en een model dat er een verzint, veroorzaakt precies de fout die je met je metrieken moet opsporen. Ontbrekende gegevens zijn een geval voor escalatie, geen geval om opnieuw te proberen.

Dit sluit aan op een regel voor gestructureerde uitvoer die rechtstreeks invloed heeft op je metrieken. Markeer een schema-veld alleen als verplicht wanneer het altijd aanwezig is. Maak een veld dat kan ontbreken nooit verplicht — het model zal een waarde verzinnen om aan het schema te voldoen, en een verzonnen waarde telt nog steeds als een zelfverzekerd antwoord.

Die verzonnen waarde kan een controle op geaggregeerde nauwkeurigheid moeiteloos passeren en tegelijk je veld met de grootste gevolgen vervuilen. Maak optionele velden optioneel en gebruik een enum met een waarde "other" plus een detailveld met vrije tekst voor uitbreidbaarheid.

Om een verborgen fout te onderzoeken, moet je elke geëxtraheerde claim kunnen terugleiden naar de oorsprong ervan. Houd koppelingen van claims aan bronnen bij: de naam van het brondocument, het exacte citaat, de locatie en de publicatiedatum.

Wanneer een gestratificeerde audit de contractstratum markeert, stelt herkomst een beoordelaar in staat rechtstreeks naar het citaat te springen dat een onjuiste liability_cap heeft opgeleverd — in plaats van het hele document opnieuw te lezen. Herkomst verandert "ergens lijkt onze metriek niet te kloppen" in "dit veld, uit dit citaat, op deze pagina, is onjuist."

Breng dit samen tot een automatiseringsbesluit. Je mag het menselijke toezicht op een stratum alleen verminderen wanneer het bewijs voor die specifieke stratum dat ondersteunt.

• De gestratificeerde audit toont aan dat de stratum de beoogde nauwkeurigheid haalt.
• Het vertrouwen op veldniveau is gekalibreerd op gelabelde gegevens.
• Zelfcorrectie en herkomst vangen de resterende fouten op.

Let ook op wat niet op deze lijst staat: een door het model zelf ingeschatte betrouwbaarheid (1-10) of een sentimentscore is een slechte trigger voor escalatie. Goede triggers zijn drempeloverschrijdingen, hiaten in beleid, uitblijvende voortgang en expliciete verzoeken van mensen — niet de eigen, ongetrainde zelfinschatting van het model.

Belangrijkste punten:

• Geaggregeerde nauwkeurigheid verbergt fouten per type en per veld — ze is gewogen naar volume, niet naar risico.
• Stratificeer voordat je vertrouwt: gestratificeerde willekeurige steekproeven per documenttype en veld brengen zwakke cellen aan het licht die een willekeurige steekproef mist.
• Kalibreer het vertrouwen op veldniveau op een gelabelde validatieset voordat je een drempel gebruikt voor automatische acceptatie.
• Zelfcorrectie (extractie van calculated_total en stated_total) en herkomst (citaat, pagina en datum van claim en bron) vangen resterende fouten op en verklaren ze.
• Stel mogelijk ontbrekende velden niet verplicht (verzinnen) en escaleer niet op zelf ingeschat vertrouwen of sentiment — gebruik drempeloverschrijdingen, hiaten in beleid, uitblijvende voortgang en expliciete verzoeken van mensen.

Verdien automatisering per stratum, op basis van bewijs. Het groene dashboard is het begin van het onderzoek, niet het einde.