Grounding på tværs af modaliteter

Bed modellen om at angive omtrentlige, normaliserede koordinater for hver visuel påstand. Selv upræcise bokse er værdifulde: Et efterfølgende system kan beskære og kontrollere igen, og en helt forkert boks afslører straks en hallucination.

• Brug normaliserede [x0,y0,x1,y1] i intervallet 0..1, så opløsningen er irrelevant.
• Betragt bokse som lokaliseringshints, ikke som pixelperfekt detektion.

For tekst, der er synlig i billedet, skal du kræve et ordret citat af det, modellen læser. Et ordret citat kan kontrolleres: Du kan lave stikprøver med OCR, og modellen har langt mindre tilbøjelighed til at opfinde en værdi, som den også skal transskribere nøjagtigt.

Denne begrænsning om at 'læse det tilbage' er billig og uforholdsmæssigt effektiv til dokumenter, diagrammer og skilte.

Når den samme oplysning forekommer i to modaliteter (et billede af en slide og den tilhørende mundtlige fortælling), skal du bede modellen om at krydskontrollere dem. Overensstemmelse øger sikkerheden; uoverensstemmelse er i sig selv et signal, der er værd at gøre synligt.

• 'Stemmer figurens billedtekst overens med det, diagrammet viser?'
• 'Stemmer fortællingen overens med tallet på skærmen?'

Et forankret system skal have lov til at sige 'ikke synligt'. Uden en udtrykkelig nødudgang udfylder modellen hullerne med sandsynlig opdigtning. Giv den en sådan mulighed, og beløn brugen af den.

Instruér: 'Hvis dokumentationen ikke findes eller er ulæselig, skal du returnere NOT_FOUND i stedet for at gætte.' Gør derefter NOT_FOUND til et førsteklasses output, som ikke straffes, i dit procesforløb.

Relationelle påstande ('ventilen er til venstre for måleren') er sværere at forankre end objekters tilstedeværelse. Bed modellen om at forankre begge henviste objekter uafhængigt med bokse, og udled derefter relationen fra koordinaterne i stedet for at fremsætte den direkte.

Denne opdeling omdanner en skrøbelig relationel vurdering til to enklere lokaliseringsopgaver plus aritmetik.

Forankring rækker ud over billeder. For lyd eller video skal du kræve tidsstempler som dokumentation: 'Angiv tidsstemplet [mm:ss], hvor dette blev sagt.' Tidsmæssige henvisninger lader dig stikprøvekontrollere påstanden mod kildesekvensen.

• Tidsstempler forankrer påstande om transskription og taleridentifikation.
• De afslører opsummeringer, der afviger fra det, der faktisk blev sagt.

En selvsikker påstand i tekstkanalen kan undertrykke korrekte visuelle oplysninger — modellen føjer sig efter den forudantagelse, du har leveret. Hvis din kontekst siger 'fakturabeløbet er 400 $', mens billedet viser 450 $, kan en model uden forankring gentage 400 $.

Forsvar: Instruér modellen i først udelukkende at udlede svaret fra billedet, derefter sammenligne med den medfølgende tekst og markere uoverensstemmelser i stedet for at sammenholde dem i stilhed.

Forankring er kun nyttig, hvis du handler på den. Opbyg en verifikator, der modtager den strukturerede dokumentation:

• Beskær hver boks igen, og kør OCR på den citerede tekst igen; uoverensstemmelse -> afvis.
• Afspil det angivne tidsstempel gennem en anden ASR-gennemgang.
• Betragt NOT_FOUND og konfliktmarkeringer som signaler til at sende sagen til manuel gennemgang.

Prompten producerer dokumentationen; dit system håndhæver den.

En genanvendelig forankringsaftale samler alle teknikkerne:

• Observationer før konklusioner.
• Boks og ordret citat for hver påstand.
• Nødudgangen NOT_FOUND — gæt aldrig.
• Udledning fra billedet først, derefter sammenholdelse med den medfølgende tekst og markering af konflikter.
• Tidsstempler for enhver påstand om lyd eller video.

Fastlæg den én gang, og genbrug den på tværs af alle multimodale opgaver.

Forankring gør multimodalt output muligt at revidere: observationer før konklusioner, bokse og ordrette citater for hver påstand, tidsstempler for lyd og video, en nødudgang med NOT_FOUND samt udledning fra billedet først, der markerer konflikter med den medfølgende tekst. Kombinér forankringsaftalen med en efterfølgende verifikator, der beskærer igen, genlæser og sender markeringer til gennemgang. Dokumentation i prompten, håndhævelse i systemet — tilsammen neutraliserer de selvsikker hallucination.