Wspólne użycie dźwięku, tekstu i obrazu

Koordynowanie dźwięku, tekstu i wizji oznacza zorganizowanie trzech strumieni wejściowych w jeden spójny kontekst. Każda modalność ma inny koszt tokenów, charakterystykę wierności i tryby błędów — model łączy je jednak we wspólnej przestrzeni uwagi.

• Dźwięk: czasowy, uporządkowany, stratny po kompresji.
• Wizja: przestrzenna, ograniczona budżetem kafelków, podatna na utratę szczegółów.
• Tekst: precyzyjny i tani, ale zdolny do nadpisania pozostałych modalności.

Sztuka polega na ułożeniu ich w takiej kolejności, aby każda wzmacniała pozostałe, zamiast je zagłuszać.

Każdemu wejściu należy przypisać w prompcie jawną rolę. Niejednoznaczność co do tego, który kanał jest nadrzędny, prowadzi do niespójnych odpowiedzi w kolejnych uruchomieniach.

• Wizja = prawda źródłowa o tym, co jest pokazane.
• Transkrypcja dźwięku = to, co zostało o tym powiedziane.
• Instrukcja tekstowa = kontrakt zadania i reguły priorytetu.

Role należy określić na początku, aby model wiedział, które źródło ma pierwszeństwo w razie konfliktu.

Dźwięk i wizja muszą być wyrównane w czasie, w przeciwnym razie model powiąże niewłaściwe słowa z niewłaściwym obrazem. Należy dostarczyć jawne wyrównanie: oznaczyć transkrypcję znacznikami czasu i oznaczyć nimi klatki, a następnie pozwolić modelowi połączyć je na podstawie czasu.

Bez metadanych wyrównania model zgaduje mapowanie — wystarczające w przypadku luźnych zadań, ale krytyczne dla analizy zsynchronizowanej.

Surowy dźwięk można przekazać do natywnego modelu dźwiękowego albo wcześniej dokonać transkrypcji za pomocą dedykowanego kroku ASR i przekazać tekst. Każde podejście wiąże się z kompromisami.

• Surowy dźwięk: zachowuje prozodię, ton i nakładające się wypowiedzi, ale kosztuje więcej tokenów i trudniej go ugruntować.
• Wstępnie transkrybowany: tani i możliwy do cytowania za pomocą znaczników czasu, ale pozbawiony niewerbalnych wskazówek (sarkazmu, pilności).

Wybór zależy od zadania: emocje/intencja -> surowy dźwięk; ekstrakcja faktów -> transkrypcja.

Kolejność, w której pojawiają się kanały, kształtuje uwagę. Solidne ustawienie domyślne dla zadań analitycznych:

1. Kontrakt zadania i role (tekst).
2. Dane wizualne (klatki), każda z etykietą i znacznikiem czasu.
3. Transkrypcja dźwięku ze znacznikami czasu.
4. Konkretne pytanie (tekst), odwołujące się do etykiet i czasu.

Umieszczenie pytania na końcu pozwala modelowi uwzględnić wszystko, co zostało już zakodowane.

Trzy kanały konkurują o jedno okno kontekstu. Wizja dominuje pod względem kosztu; nieskompresowany dźwięk zajmuje drugie miejsce. Przed wysłaniem należy ustalić priorytety:

• Próbkować klatki z częstotliwością wymaganą przez zadanie — nie każdą klatkę.
• Przycinać klatki do obszaru, w którym odbywa się działanie.
• Dzielić dźwięk na istotne fragmenty i usuwać ciszę.

Budżet należy wykorzystywać tam, gdzie znajduje się odpowiedź.

Największą korzyścią z promptowania z wieloma wejściami jest wzajemne potwierdzanie: gdy ten sam fakt można niezależnie wyprowadzić z dwóch kanałów, zgodność stanowi mocny dowód, a rozbieżność jest sygnałem ostrzegawczym.

Należy polecić modelowi wyprowadzenie każdego kluczowego faktu osobno dla każdego kanału i zgłoszenie zgodności, zamiast sprowadzać wszystko do jednej scalonej odpowiedzi, która ukrywa, któremu źródłu model zaufał.

Rzeczywiste dane wejściowe ulegają pogorszeniu: nagranie może być stłumione, klatka rozmyta, a transkrypcja ucięta. Należy określić modelowi, jak postępować przy częściowych dowodach, zamiast pozwalać mu konfabulować brakujący kanał.

• 'Jeśli dźwięk jest niezrozumiały w danym fragmencie, oznacz go jako [INAUDIBLE].'
• 'Jeśli klatka jest zbyt rozmyta, aby można było ją odczytać, zwróć NOT_LEGIBLE dla tego pola.'

Kontrolowana degradacja jest lepsza od cichego zmyślania.

Trudne zadania multimodalne wymagają powiązania tego, kto mówi (diaryzacja mówców) z tym, kto jest widoczny (wizja). Należy jawnie określić tę koreferencję: poprosić model o powiązanie etykiet mówców z osobami widocznymi w kadrze na podstawie synchronizacji czasowej i wskazówek wizualnych, takich jak ruch warg lub gesty.

Należy wymusić uzasadnienie każdego powiązania zarówno znacznikiem czasu, jak i wskazówką wizualną.

Odpowiedź końcowa powinna być scalona dla czytelności, a jednocześnie zachowywać możliwość prześledzenia źródła dla każdego kanału. Należy zwrócić ustrukturyzowany obiekt: syntetyczny wniosek oraz dowody z każdej modalności wraz ze znacznikiem czasu lub ramką.

Dzięki temu można korzystać z wygodnego podsumowania, a jednocześnie kontrolować dowolne pojedyncze twierdzenie, cofając się do jego źródłowego kanału.

Przed każdym wywołaniem trójmodalnym należy sprawdzić:

• Role i kolejność ważności zostały określone.
• Klatki i transkrypcja mają znaczniki czasu i są zsynchronizowane.
• Ustalono priorytety kanałów, aby zmieścić się w budżecie.
• Zażądano wzajemnego potwierdzania i oznaczania rozbieżności.
• Zdefiniowano tokeny degradacji (INAUDIBLE, NOT_LEGIBLE).
• Wynik jest scalony, ale zachowuje ścieżkę dowodową.

Każdy punkt eliminuje konkretny tryb awarii scalania wielu wejść.

Analizują Państwo film instruktażowy i muszą ustalić, czy wypowiadane przez narratora twierdzenie odpowiada działaniu widocznemu na ekranie na każdym etapie.

Promptowanie trójmodalne działa skutecznie, gdy role i kolejność ważności kanałów są jawnie określone, dźwięk i klatki są wyrównane według znaczników czasu, każdy kanał jest odpowiednio priorytetyzowany, aby zmieścić się w budżecie, a dla każdego kanału wymagane jest wzajemne potwierdzanie z użyciem tokenów degradacji dla brakujących dowodów. O wyborze surowego dźwięku lub wcześniejszej transkrypcji decyduje to, czy istotna jest prozodia. Należy dostarczyć scalone podsumowanie, które nadal pozwala prześledzić każde twierdzenie do ramki lub znacznika czasu — łatwe do odczytania i możliwe do skontrolowania.