Hantera partiella och saknade data

Dokument från verkligheten innehåller sällan alla fält som ert schema förväntar sig. En faktura kan sakna ett inköpsordernummer, ett CV kan utelämna datum och en nyhetsartikel kanske inte nämner någon plats. Att utforma ert extraheringsschema så att det hanterar partiella och saknade data på ett robust sätt är lika viktigt som att extrahera det som faktiskt finns.

Markera fält som kanske inte förekommer i alla dokument som Optional[type] och ge dem standardvärdet None. Pydantic v2 behandlar dessa fält som nullbara, och modellen instrueras att inte hitta på värden när information saknas. Föredra alltid None framför en tom sträng för saknade data — det är enklare att filtrera senare i flödet.

Be modellen bedöma sin egen säkerhet för varje extraherat fält genom att lägga till en konfidenspoäng bredvid värdet. Omslut båda i en generisk hjälpklass med namnet FieldExtract. Extraheringar med låg konfidens kan skickas till mänskliga granskare i stället för direkt till efterföljande system, vilket minskar risken för att felaktiga data passerar obemärkt.

Ibland är frånvaron av data i sig meningsfull. Använd Pythons Optional tillsammans med en Literal-enum för att skilja mellan inte omnämnt, uttryckligen angivet som inget och okänt. Denna trevägsskillnad hindrar efterföljande kod från att behandla en uttryckligen angiven frånvaro på samma sätt som ett utelämnat omnämnande, vilket kan orsaka subtila fel i affärslogiken.

När ett primärt extraheringsanrop returnerar för många fält med None kan ni prova en riktad uppföljningsprompt som fokuserar specifikt på den information som saknas. Skicka endast det relevanta stycket tillsammans med den delvis extraherade modellen och be modellen fylla i endast de tomma fälten. Denna tvåstegsmetod förbättrar täckningen avsevärt för tvetydiga dokument.

För fält som har ett rimligt standardvärde när data saknas använder ni Pythons default eller default_factory. En tagglista bör till exempel ha en tom lista som standardvärde i stället för None, så att efterföljande kod alltid kan iterera över den. Reservera None för fält där frånvaron måste markeras och hanteras uttryckligen.

Skapa en granskningskö för extraheringar vars konfidens ligger under ett tröskelvärde. Lagra resultat med låg konfidens i en separat databastabell med flaggan needs_review, visa dem i ett internt granskningsgränssnitt och låt mänskliga annoterare korrigera dem. Mata tillbaka korrigeringarna som few-shot-exempel för att förbättra framtida extraheringar.

Vissa fält kan extraheras på flera giltiga sätt från samma text. Ett datum som skrivs som ”nästa måndag” är till exempel tvetydigt utan ett referensdatum. Använd ett fält med namnet raw_span för att fånga den exakta text som modellen använde, tillsammans med det normaliserade värdet. Då bevaras det ursprungliga underlaget och felsökningen av extraheringar blir mycket enklare.

Följ vilka fält som oftast är None i hela er dokumentsamling. En hög andel saknade värden för ett obligatoriskt fält tyder på att fältet antingen faktiskt saknas i de flesta dokument eller att schemabeskrivningen förvirrar modellen. Genom att logga mönster för saknade fält per dokumenttyp blir det enklare att prioritera schemaförbättringar som får störst effekt på datakvaliteten.

För komplexa dokument som årsredovisningar eller långa avtal fungerar en extraheringsstrategi i flera pass bäst. Extrahera i det första passet fält med hög konfidens som alltid finns med. Fokusera i efterföljande pass på specifika avsnitt eller stycken för att extrahera de svårare fälten. Slå samman alla pass till en enda slutpost och låt senare pass skriva över tidigare värden som är None.

Välutformade scheman minskar naturligt mängden saknade data. Använd smala och specifika fältbeskrivningar så att modellen vet exakt vad den ska leta efter. Undvik att kombinera två begrepp i ett enda fält. Lägg till examples i fältbeskrivningen för att vägleda extraheringen. Ett schema som gör modellens uppgift enkel får betydligt färre saknade fält än ett som förlitar sig på vaga etiketter.

I den här lektionen lärde ni er att valfria fält med standardvärdet None förhindrar att saknade data hittas på, att konfidenspoäng och granskningsköer skapar ett skyddsnät för osäkra extraheringar och att extrahering i flera pass förbättrar täckningen för komplexa dokument genom att varje pass fokuserar på specifika avsnitt. Härnäst skalar vi upp extraheringen med asynkron bearbetning och köer.