Kopplingar mellan påståenden och källor

Be inte modellen att väva in källhänvisningar i löptext där de lätt kan utelämnas. Tvinga i stället fram en strukturerad form med ett JSON Schema via ett verktyg. Att kombinera tool_use med ett schema eliminerar syntaxfel och säkerställer att obligatoriska fält finns med.

Varje påstående blir ett objekt som innehåller sina egna källförankringar. Detta är grunden för ett verifierbart spårbarhetsregister.

En subtil men avgörande regel inför examen: markera ett fält som obligatoriskt endast om det alltid finns i källan. Om ni kräver ett fält som kan saknas kommer modellen att fabricera ett värde för att uppfylla schemat.

Ett blogginlägg kanske saknar ett formellt publication_date; en intern PDF kanske saknar source_url. Därför är claim, quote och document_name obligatoriska (de finns alltid), medan source_url och publication_date förblir valfria. Ett tomt datum är ärligt; ett påhittat datum är ett spårbarhetsfel.

För att garantera att ni får tillbaka spårbarhetsobjektet i stället för fri text begränsar ni modellen med tool_choice. Inställningen {"type": "tool", "name": "record_claims"} tvingar fram just det verktyget, så varje svar kommer som schemavaliderad JSON.

Att använda "any" skulle garantera att något verktyg anropas; att tvinga fram det namngivna verktyget ger den starkaste garantin när ni bara har ett extraktionsverktyg.

Att kräva ett ordagrant citat (inte en parafras) är ett verktyg för tillförlitlighet, inte bara administration. När modellen måste kopiera den exakta stödjande texten blir det mycket svårare att hävda något som källan aldrig sade.

Förstärk detta med uttryckliga kriterier i prompten och 2–4 few-shot-exempel. Few-shot-exempel är särskilt effektiva för utdataformat, kantfall och för att minska hallucinationer — modellen generaliserar mönstret i stället för att bara upprepa era exempel.

I ett nav-och-ekrar-baserat forskningssystem ärver underagenter inte koordinatorns samtalshistorik. Varje underagent måste returnera sina resultat med bifogade källmappningar, eftersom koordinatorn inte har något annat sätt att veta var en uppgift kom ifrån.

Koordinatorn sammanställer sedan dessa fristående påståenden. Om en underagent returnerar en ensam mening utan citat eller dokumentnamn kan uppgiften inte verifieras så fort den lämnar underagentens kontext — behandla den som saknad spårbarhet, inte som ett giltigt resultat.

När två källor inte är överens om en statistikuppgift är det fel att tyst välja den ena. Rätt tillvägagångssätt är att annotera konflikten och visa båda påståendena tillsammans med deras källor.

Ofta löser publiceringsdatumet den skenbara motsägelsen: en siffra från 2021 och en från 2024 motsäger inte varandra — de utgör en tidsserie. Det är precis därför datumförankringen hör hemma i varje mappning. Bevara båda, märk dem och låt en människa (eller en datummedveten regel) avgöra.

Självkorrigering fungerar genom att två värden extraheras och jämförs. För spårbarhet låter ni modellen ange varje påstående tillsammans med en flagga som visar om ett stödjande citat faktiskt hittades, och validerar sedan programmatiskt att varje påstående innehåller ett sådant.

Detta fångar det tysta felet där en självsäker mening skickas utan belägg. Valideringen är strukturell — perfekt för en loop med nya försök.

Om valideringen hittar en strukturell lucka (saknat citat, felaktigt formaterat datum) använder ni retry-with-feedback: skicka originaldokumentet, modellens felaktiga utdata och det exakta valideringsfelet till modellen. Detta rättar till format- och strukturfel på ett tillförlitligt sätt.

En viktig gräns: nya försök hjälper inte när informationen helt enkelt saknas i källan. Om dokumentet faktiskt inte har något publiceringsdatum kan inga nya försök trolla fram ett — och ni får inte låta dem göra det. Markera fältet som tomt och gå vidare i stället för att loopa för evigt.

När påståendena har mappats presenterar ni dem i det format som passar innehållet. Presentera ekonomiska uppgifter som tabeller, nyheter som löptext och tekniska resultat som listor — alltid med synliga källförankringar.

För mänsklig tillsyn gör en fotnot eller en avslutande kolumn med dokumentnamn, datum och en länk att verifieringen går snabbt i stället för att kräva en utredning. Spårbarhet som inte syns är spårbarhet som ingen kommer att kontrollera.

Viktiga slutsatser för examen och produktionssystem:

• Koppla varje påstående till fyra förankringar: URL, dokumentnamn, ordagrant citat och publiceringsdatum.
• Säkerställ formen med tool_use + JSON Schema och tvinga fram den via tool_choice.
• Markera ett fält som obligatoriskt endast om det alltid finns — kräv aldrig ett fält som kan saknas, eftersom modellen då fabricerar det.
• Underagenter ärver inte historiken, så varje underagent måste returnera fristående, spårbara påståenden.
• Annotera konflikter; låt datum lösa skenbara motsägelser i stället för att välja godtyckligt.
• Använd retry-with-feedback för strukturella luckor — men acceptera att nya försök inte kan tillhandahålla information som saknas i källan.
• Presentera efter innehållstyp (tabeller/löptext/listor) med synliga källor för mänsklig tillsyn.