Håndtering af delvise og manglende data

Dokumenter fra den virkelige verden indeholder sjældent alle de felter, som dit skema forventer. En faktura mangler måske et PO-nummer, et CV indeholder måske ikke datoer, og en nyhedsartikel nævner måske ikke en placering. Det er lige så vigtigt at designe dit udtrækningsskema, så det håndterer delvise og manglende data på en robust måde, som at udtrække det, der er til stede.

Markér felter, der måske ikke forekommer i alle dokumenter, som Optional[type], og giv dem standardværdien None. Pydantic v2 behandler disse felter som nullable, og modellen instrueres i ikke at opfinde værdier, når oplysninger mangler. Foretræk altid None frem for en tom streng ved manglende data — det er lettere at filtrere senere i behandlingen.

Bed modellen vurdere sin egen sikkerhed for hvert udtrukket felt ved at tilføje en konfidensscore sammen med værdien. Indpak begge dele i hjælpeklassen FieldExtract. Udtrækninger med lav konfidens kan sendes til menneskelige kontrollører i stedet for direkte til efterfølgende systemer, hvilket reducerer risikoen for ubemærket fejlbehæftede data.

Nogle gange er fraværet af data i sig selv meningsfuldt. Brug Pythons Optional sammen med en Literal-enum til at skelne mellem ikke nævnt, udtrykkeligt angivet som ingen og ukendt. Denne tredelte skelnen forhindrer efterfølgende kode i at behandle et udtrykkeligt angivet fravær på samme måde som en manglende omtale, hvilket kan give subtile fejl i forretningslogikken.

Når et primært udtrækningskald returnerer for mange felter med None, kan du prøve en målrettet opfølgende prompt, der specifikt fokuserer på de manglende oplysninger. Send kun det relevante afsnit sammen med den delvist udtrukne model, og bed modellen udfylde de tomme felter. Denne tilgang med to gennemløb forbedrer genfindingen betydeligt i tvetydige dokumenter.

Til felter, der har en fornuftig standardværdi, når de mangler, skal du bruge Pydantics default eller default_factory. En liste med mærkater bør for eksempel som standard være en tom liste i stedet for None, så efterfølgende kode altid kan gennemløbe den. Brug None til felter, hvor fraværet skal markeres og håndteres eksplicit.

Opret en kontrolkø til udtrækninger, hvis konfidens ligger under en tærskel. Gem resultater med lav konfidens i en separat databasetabel med flaget needs_review, vis dem i en intern kontrolbrugergrænseflade, og giv menneskelige annotatorer mulighed for at rette dem. Brug rettelserne som few-shot-eksempler for at forbedre fremtidige udtrækninger.

Nogle felter kan udtrækkes på flere gyldige måder fra den samme tekst. En dato som 'næste mandag' er for eksempel tvetydig uden en referencedato. Brug et felt med navnet raw_span til at gemme den nøjagtige tekst, modellen brugte, sammen med den normaliserede værdi. Det bevarer det oprindelige belæg og gør fejlfinding af udtrækninger meget lettere.

Hold styr på, hvilke felter der oftest er None på tværs af din dokumentsamling. En høj andel af manglende værdier i et påkrævet felt tyder enten på, at feltet reelt mangler i de fleste dokumenter, eller på, at din skemabeskrivelse forvirrer modellen. Logning af manglende mønstre pr. dokumenttype hjælper dig med at prioritere skemaforbedringer, der vil have størst betydning for datakvaliteten.

Til komplekse dokumenter som årsrapporter eller lange kontrakter fungerer en strategi med udtrækning i flere gennemløb bedst. I det første gennemløb udtrækker du felter med høj konfidens, som altid er til stede. I de efterfølgende gennemløb fokuserer du på bestemte sektioner eller afsnit for at udtrække de vanskeligere felter. Flet alle gennemløb til én endelig post, og lad senere gennemløb overskrive tidligere værdier med None.

Veldesignede skemaer reducerer naturligt mængden af manglende data. Brug snævre, specifikke feltbeskrivelser, så modellen ved præcis, hvad den skal lede efter. Undgå at kombinere to begreber i ét felt. Tilføj examples i feltbeskrivelsen for at vejlede udtrækningen. Et skema, der gør modellens opgave let, vil have langt færre manglende felter end et skema, der baserer sig på uklare betegnelser.

I denne lektion lærte du, at valgfrie felter med standardværdien None forhindrer modellen i at opfinde manglende data, at konfidensscorer og kontrolkøer skaber et sikkerhedsnet for usikre udtrækninger, og at udtrækning i flere gennemløb forbedrer genfindingen i komplekse dokumenter ved at fokusere hvert gennemløb på bestemte sektioner. Næste gang skalerer vi udtrækningen med asynkron behandling og køer.