Ugruntowanie między modalnościami

Ugruntowanie oznacza wymóg, aby każde twierdzenie tekstowe można było prześledzić do konkretnego dowodu w innej modalności. Nieugruntowana odpowiedź multimodalna to płynnie przedstawione przypuszczenie; ugruntowana odpowiedź to możliwe do obrony twierdzenie ze wskazaniem pikseli (lub klatki audio), które je uzasadniają.

• Ugruntowanie zmienia nieprzejrzyste dane wyjściowe w dane możliwe do przeaudytowania.
• Jest to najskuteczniejszy pojedynczy sposób ograniczania pewnych siebie halucynacji wizualnych.

Należy wymusić na modelu wyodrębnienie dowodów przed wyciągnięciem wniosków. Jeśli wniosek zostanie wygenerowany jako pierwszy, „dowód” stanie się uzasadnieniem dorobionym po fakcie, dopasowanym do potencjalnie błędnej odpowiedzi.

Odpowiedź należy ułożyć tak, aby najpierw pojawiły się zaobserwowane obszary, następnie interpretacja, a na końcu odpowiedź końcowa.

Należy poprosić model o podanie przybliżonych znormalizowanych współrzędnych dla każdego twierdzenia wizualnego. Nawet niedokładne ramki są wartościowe: system dalszego przetwarzania może przyciąć obraz i ponownie przeprowadzić weryfikację, a rażąco błędna ramka natychmiast ujawnia halucynację.

• Należy używać znormalizowanych współrzędnych [x0,y0,x1,y1] z zakresu 0..1, aby rozdzielczość nie miała znaczenia.
• Ramki należy traktować jako wskazówki lokalizacyjne, a nie detekcję co do pojedynczego piksela.

W przypadku dowolnego tekstu widocznego na obrazie należy wymagać dosłownego zacytowania tego, co model odczytał. Dosłowny cytat można sprawdzić: da się go wyrywkowo zweryfikować za pomocą OCR, a model znacznie rzadziej wymyśli wartość, którą musi również dokładnie przepisać.

To ograniczenie typu „odczytaj i powtórz” jest tanie i wyjątkowo skuteczne w przypadku dokumentów, wykresów i oznakowania.

Gdy ten sam fakt występuje w dwóch modalnościach (na obrazie slajdu i w jego narracji mówionej), należy poprosić model o ich sprawdzenie krzyżowe. Zgodność zwiększa pewność, a niezgodność jest sama w sobie sygnałem, który warto ujawnić.

• „Czy podpis rysunku odpowiada temu, co pokazuje wykres?”
• „Czy narracja zgadza się z liczbą wyświetlaną na ekranie?”

Ugruntowany system musi mieć możliwość odpowiedzi „niewidoczne”. Bez jawnego mechanizmu wyjścia awaryjnego model wypełnia luki wiarygodnie brzmiącymi zmyśleniami. Należy go zapewnić i odpowiednio premiować.

Należy polecić: „Jeśli dowód nie istnieje lub jest nieczytelny, zwróć NOT_FOUND zamiast zgadywać”. Następnie należy uczynić NOT_FOUND pełnoprawnym, niekaranym wynikiem w potoku.

Twierdzenia relacyjne („zawór znajduje się na lewo od manometru”) trudniej ugruntować niż obecność obiektu. Należy poprosić model o niezależne ugruntowanie obu elementów odniesienia za pomocą ramek, a następnie wyprowadzić relację ze współrzędnych zamiast stwierdzać ją bezpośrednio.

Taki rozkład zadania zamienia podatną na błędy ocenę relacyjną w dwa prostsze zadania lokalizacyjne oraz obliczenia arytmetyczne.

Ugruntowanie wykracza poza obrazy. W przypadku dźwięku lub wideo należy wymagać znaczników czasu jako dowodu: „należy wskazać znacznik [mm:ss], w którym to powiedziano”. Wskaźniki czasowe pozwalają wyrywkowo porównać twierdzenie z odpowiednim fragmentem źródłowym.

• Znaczniki czasu ugruntowują twierdzenia dotyczące transkrypcji i diarizacji.
• Ujawniają podsumowania odbiegające od tego, co rzeczywiście powiedziano.

Pewne siebie twierdzenie w kanale tekstowym może wyprzeć poprawne dane wizualne — model podporządkowuje się dostarczonemu wcześniej założeniu. Jeśli kontekst mówi „suma na fakturze wynosi 400 USD”, a obraz pokazuje 450 USD, nieugruntowany model może bezkrytycznie powtórzyć 400 USD.

Obrona: należy polecić modelowi, aby najpierw wyprowadził odpowiedź wyłącznie z obrazu, następnie porównał ją z dostarczonym tekstem i oznaczył rozbieżności, zamiast po cichu je uzgadniać.

Ugruntowanie jest użyteczne tylko wtedy, gdy się na nim działa. Należy zbudować weryfikator, który przetwarza ustrukturyzowane dowody:

• Należy ponownie przyciąć każdą ramkę i wykonać OCR zacytowanego tekstu; niezgodność -> odrzucenie.
• Należy odtworzyć wskazany znacznik czasu w drugim przebiegu ASR.
• Wartości NOT_FOUND i znaczniki konfliktów należy traktować jako sygnały kierujące do weryfikacji przez człowieka.

Prompt dostarcza dowodów, a system egzekwuje ich wykorzystanie.

Wielokrotnego użytku kontrakt ugruntowania łączy wszystkie techniki:

• Obserwacje przed wnioskami.
• Ramka i dosłowny cytat dla każdego twierdzenia.
• Mechanizm wyjścia awaryjnego NOT_FOUND — nigdy nie należy zgadywać.
• Wyprowadzanie odpowiedzi najpierw z obrazu, a następnie uzgadnianie jej z dostarczonym tekstem i oznaczanie konfliktów.
• Znaczniki czasu dla każdego twierdzenia dotyczącego dźwięku lub wideo.

Należy zdefiniować ten kontrakt raz i używać go ponownie w każdym zadaniu multimodalnym.

Metadane kontekstu wskazują, że suma zamówienia wynosi 400 USD, ale podejrzewa Pan/Pani, że zeskanowany obraz może przedstawiać inną kwotę.

Ugruntowanie sprawia, że dane wyjściowe multimodalne można przeaudytować: obserwacje przed wnioskami, ramki i dosłowne cytaty dla każdego twierdzenia, znaczniki czasu dla dźwięku i wideo, mechanizm wyjścia awaryjnego NOT_FOUND oraz wyprowadzanie odpowiedzi najpierw z obrazu i oznaczanie konfliktów z dostarczonym tekstem. Kontrakt ugruntowania należy połączyć z weryfikatorem działającym w dalszym przetwarzaniu, który ponownie przycina obrazy, odczytuje dane i kieruje oznaczone przypadki do weryfikacji. Dowody w prompcie, egzekwowanie ich wykorzystania w systemie — razem neutralizują pewne siebie halucynacje.