Audio, testo e immagini insieme

Coordinare audio, testo e visione significa orchestrare tre flussi di input in un unico contesto coerente. Ogni modalità ha un costo in token, un profilo di fedeltà e una modalità di errore diversi — eppure il modello li fonde in un unico spazio di attenzione.

• Audio: temporale, ordinato, con perdita in caso di compressione.
• Visione: spaziale, vincolata dal budget dei tile, fragile nei dettagli.
• Testo: preciso, economico, ma capace di sovrascrivere le altre modalità.

L'arte consiste nel disporle in sequenza in modo che ciascuna rafforzi le altre invece di sommergerle.

Assegni a ogni input un ruolo esplicito nel prompt. L'ambiguità su quale canale sia autorevole produce risposte incoerenti tra un'esecuzione e l'altra.

• Visione = verità di riferimento per ciò che viene mostrato.
• Trascrizione audio = ciò che viene detto al riguardo.
• Istruzione testuale = contratto del compito e regole di precedenza.

Dichiari i ruoli in anticipo, così il modello sa quale fonte prevale in caso di conflitto.

Audio e visione devono essere allineati temporalmente, altrimenti il modello correla le parole sbagliate con l'immagine sbagliata. Fornisca un allineamento esplicito: apponga i timestamp alla trascrizione e ai fotogrammi, poi lasci che il modello li associ in base al tempo.

Senza metadati di allineamento, il modello deve indovinare la corrispondenza: va bene per i compiti generici, ma è disastroso per l'analisi sincronizzata.

È possibile passare l'audio grezzo a un modello audio nativo oppure pre-trascriverlo con un passaggio ASR dedicato e passare il testo. Entrambe le opzioni presentano dei compromessi.

• Audio grezzo: conserva prosodia, tono e sovrapposizione vocale, ma richiede più token ed è più difficile da ancorare.
• Pre-trascritto: economico e citabile tramite timestamp, ma elimina i segnali non lessicali (sarcasmo, urgenza).

Scelga in base al compito: emozione/intento -> audio grezzo; estrazione fattuale -> trascrizione.

La sequenza con cui compaiono i canali orienta l'attenzione. Un'impostazione predefinita solida per i compiti di analisi:

1. Contratto del compito e ruoli (testo).
2. Evidenza visiva (fotogrammi), ciascuno con etichetta e timestamp.
3. Trascrizione audio, con timestamp.
4. Domanda specifica (testo), con riferimenti a etichette e tempi.

Mettere la domanda per ultima le permette di orientare l'attenzione su tutto ciò che è già stato codificato.

Tre canali competono per un'unica finestra di contesto. La visione è la componente più costosa; l'audio non compresso viene subito dopo. Esegua il triage prima dell'invio:

• Campioni i fotogrammi alla frequenza necessaria per il compito, non tutti i fotogrammi.
• Ritagli i fotogrammi in modo da includere la regione dell'azione.
• Segmenti l'audio negli intervalli pertinenti ed elimini il silenzio.

Investa il budget dove si trova la risposta.

Il vantaggio maggiore del prompting multi-input è la corroborazione: quando lo stesso fatto può essere ricavato indipendentemente da due canali, la concordanza costituisce una forte evidenza e la discordanza è un campanello d'allarme.

Chieda al modello di ricavare ogni fatto chiave per ciascun canale e di segnalare la concordanza, anziché ridurre tutto a un'unica risposta fusa che nasconde a quale fonte abbia dato fiducia.

Gli input reali si degradano: una clip ovattata, un fotogramma sfocato, una trascrizione troncata. Indichi al modello come procedere con evidenze parziali, invece di permettergli di inventare il canale mancante.

• 'Se l'audio è incomprensibile in un intervallo, lo contrassegni come [INAUDIBLE].'
• 'Se un fotogramma è troppo sfocato per poter essere letto, restituisca NOT_LEGIBLE per quel campo.'

La degradazione controllata è preferibile all'invenzione silenziosa.

Le attività multimodali complesse richiedono di collegare chi parla (diarizzazione audio) a chi è visibile (visione). Renda esplicita la coreferenza: chieda al modello di associare le etichette dei parlanti alle persone presenti nel fotogramma, usando la temporizzazione e indizi visibili come il movimento delle labbra o i gesti.

Lo obblighi a giustificare ogni associazione con un timestamp e un indizio visivo.

La risposta finale dovrebbe essere unificata per facilitarne la lettura, mantenendo però al suo interno la tracciabilità per canale. Emetta un oggetto strutturato: la conclusione sintetizzata più le evidenze a supporto provenienti da ogni modalità, con il relativo timestamp o riquadro.

In questo modo le persone possono accettare il riepilogo comodo, pur potendo verificare ogni singola affermazione risalendo al relativo canale di origine.

Prima di qualsiasi chiamata trimodale, verifichi:

• Ruoli e precedenza specificati.
• Fotogrammi e trascrizione con timestamp e allineati.
• Canali sottoposti a triage per rientrare nel budget.
• Richiesta di corroborazione e segnalazione delle discordanze.
• Token di degradazione definiti (INAUDIBLE, NOT_LEGIBLE).
• Output unificato ma con evidenze tracciabili.

Ogni elemento chiude una specifica modalità di errore della fusione multi-input.

Il prompting trimodale riesce quando assegna ruoli e precedenze espliciti ai canali, allinea audio e fotogrammi tramite timestamp, sottopone ogni canale a triage per rientrare nel budget e richiede la corroborazione per canale, con token di degradazione per le evidenze mancanti. Scelga audio grezzo o pre-trascrizione in base all'importanza della prosodia. Fornisca un riepilogo unificato che consenta comunque di ricondurre ogni affermazione a un riquadro o a un timestamp: comodo da leggere e verificabile.