Förankring mellan modaliteter

Be modellen skriva ut ungefärliga normaliserade koordinater för varje visuellt påstående. Även ofullständiga bounding boxes är värdefulla: ett efterföljande system kan beskära och verifiera på nytt, och en uppenbart felaktig ruta avslöjar omedelbart en hallucination.

• Använd normaliserade [x0,y0,x1,y1] inom intervallet 0..1, så blir upplösningen irrelevant.
• Betrakta bounding boxes som lokaliseringsledtrådar, inte som pixelperfekt detektering.

För all text som är synlig i bilden bör Ni kräva ett ordagrant citat av det modellen läser. Ett ordagrant citat kan kontrolleras: Ni kan göra en punktkontroll med OCR, och modellen löper mycket mindre risk att hitta på ett värde som den också måste transkribera exakt.

Denna begränsning att ”läsa tillbaka” är billig och oproportionerligt effektiv för dokument, diagram och skyltar.

När samma fakta förekommer i två modaliteter (en bild av en presentation och den talade berättarrösten) bör Ni be modellen att korskontrollera dem. Överensstämmelse höjer konfidensen; oenighet är i sig en signal som bör synliggöras.

• ”Stämmer figurens bildtext med det diagrammet visar?”
• ”Stämmer berättarrösten överens med siffran på skärmen?”

Ett förankrat system måste få säga ”inte synligt”. Utan en uttrycklig utväg fyller modellen luckor med plausibla fabriceringar. Tillhandahåll en sådan utväg och belöna användningen av den.

Instruera modellen: ”Om belägget inte finns eller är oläsligt ska Ni returnera NOT_FOUND i stället för att gissa.” Gör sedan NOT_FOUND till ett förstahandsresultat som inte bestraffas i Er pipeline.

Relationella påståenden (”ventilen är till vänster om mätaren”) är svårare att förankra än objektförekomst. Be modellen förankra båda referenterna separat med bounding boxes och härled därefter relationen från koordinaterna i stället för att hävda den direkt.

Denna uppdelning omvandlar en skör relationell bedömning till två enklare lokaliseringsuppgifter plus aritmetik.

Förankring kan användas även utanför bilder. För ljud eller video bör Ni kräva tidsstämplar som belägg: ”ange [mm:ss] där detta sades”. Temporala hänvisningar gör det möjligt att kontrollera påståendet mot källsegmentet.

• Tidsstämplar förankrar påståenden om transkribering och talaridentifiering.
• De avslöjar sammanfattningar som avviker från det som faktiskt sades.

Ett självsäkert påstående i textkanalen kan undertrycka korrekta visuella belägg – modellen följer det förhandsantagande Ni har tillhandahållit. Om Er kontext säger ”fakturans totalsumma är $400” medan bilden visar $450, kan en oförankrad modell upprepa $400.

Försvar: instruera modellen att först härleda svaret enbart från bilden, därefter jämföra med den tillhandahållna texten och flagga avvikelser i stället för att stämma av dem i tysthet.

Förankring är bara användbar om Ni agerar utifrån den. Bygg en verifierare som tar emot de strukturerade beläggen:

• Beskär varje bounding box på nytt och kör OCR på det citerade texten; avvikelse -> avvisa.
• Spela upp den angivna tidsstämpeln genom en andra ASR-körning.
• Behandla NOT_FOUND och konfliktflaggor som styrsignaler för manuell granskning.

Prompten skapar belägg; Ert system verkställer dem.

Ett återanvändbart förankringskontrakt samlar alla tekniker:

• Observationer före slutsatser.
• Bounding box + ordagrant citat för varje påstående.
• Utvägen NOT_FOUND – gissa aldrig.
• Bildförst-härledning, därefter avstämning mot tillhandahållen text och flaggning av konflikter.
• Tidsstämplar för alla påståenden om ljud eller video.

Formalisera det en gång och återanvänd det för alla multimodala uppgifter.

Förankring gör multimodala utdata granskningsbara: observationer före slutsatser, bounding boxes och ordagranna citat för varje påstående, tidsstämplar för ljud/video, en utväg med NOT_FOUND samt bildförst-härledning som flaggar konflikter med tillhandahållen text. Kombinera förankringskontraktet med en efterföljande verifierare som beskär på nytt, läser av på nytt och skickar flaggor till granskning. Belägg i prompten, verkställighet i systemet – tillsammans neutraliserar de självsäkra hallucinationer.