Audio, Teks, dan Penglihatan Bersama

Mengoordinasikan audio, teks, dan visi berarti mengatur tiga aliran input menjadi satu konteks yang koheren. Setiap modalitas memiliki biaya token, profil fidelitas, dan mode kegagalan yang berbeda — namun model memadukannya dalam satu ruang perhatian.

• Audio: temporal, berurutan, mengalami kehilangan informasi saat dikompresi.
• Visi: spasial, dibatasi anggaran petak, detailnya rapuh.
• Teks: presisi, murah, tetapi dapat menimpa yang lain.

Keahliannya adalah mengurutkan semuanya agar masing-masing saling memperkuat, bukan menenggelamkan yang lain.

Tetapkan peran eksplisit untuk setiap input dalam prompt. Ketidakjelasan mengenai kanal mana yang menjadi acuan utama menghasilkan jawaban yang tidak konsisten antarpenggunaan.

• Visi = fakta dasar tentang apa yang ditampilkan.
• Transkrip audio = apa yang dikatakan tentangnya.
• Instruksi teks = kontrak tugas dan aturan prioritas.

Nyatakan peran sejak awal agar model mengetahui sumber mana yang menang saat terjadi konflik.

Audio dan visi harus diselaraskan secara temporal; jika tidak, model akan mengaitkan kata yang salah dengan gambar yang salah. Sediakan penyelarasan eksplisit: beri cap waktu pada transkrip dan bingkai, lalu biarkan model menggabungkannya berdasarkan waktu.

Tanpa metadata penyelarasan, model menebak pemetaannya — cukup untuk tugas yang longgar, tetapi fatal untuk analisis tersinkronisasi.

Anda dapat meneruskan audio mentah ke model audio bawaan, atau melakukan pratranskripsi dengan langkah ASR khusus lalu meneruskan teks. Keduanya memiliki kelebihan dan kekurangan.

• Audio mentah: mempertahankan prosodi, nada, dan percakapan yang tumpang tindih — tetapi memerlukan lebih banyak token dan lebih sulit ditautkan ke bukti.
• Hasil pratranskripsi: murah dan dapat dikutip berdasarkan cap waktu, tetapi membuang isyarat nonleksikal (sarkasme, urgensi).

Pilih berdasarkan tugas: emosi/maksud -> audio mentah; ekstraksi faktual -> transkrip.

Urutan kemunculan kanal membentuk perhatian. Bawaan yang kuat untuk tugas analisis:

1. Kontrak tugas dan peran (teks).
2. Bukti visual (bingkai), masing-masing diberi label dan cap waktu.
3. Transkrip audio, dengan cap waktu.
4. Pertanyaan spesifik (teks), yang merujuk pada label dan waktu.

Menempatkan pertanyaan di bagian terakhir memungkinkannya memperhatikan semua hal yang telah dikodekan sebelumnya.

Tiga saluran bersaing untuk satu jendela konteks. Visi paling banyak menghabiskan biaya; audio yang tidak dikompresi berada di urutan kedua. Tentukan prioritas sebelum mengirim:

• Ambil sampel bingkai dengan laju yang dibutuhkan tugas — bukan setiap bingkai.
• Pangkas bingkai hingga hanya menyisakan wilayah tindakan.
• Segmentasikan audio menjadi bagian-bagian yang relevan; buang keheningan.

Gunakan anggaran pada bagian yang memuat jawaban.

Manfaat terbesar dari pemberian perintah dengan banyak masukan adalah penguatan: ketika fakta yang sama dapat diturunkan secara independen dari dua saluran, kesesuaian menjadi bukti kuat dan ketidaksesuaian menjadi tanda bahaya.

Minta model menurunkan setiap fakta penting untuk tiap saluran dan melaporkan kesesuaiannya, alih-alih menggabungkannya menjadi satu jawaban terpadu yang menyembunyikan sumber mana yang dipercayainya.

Masukan nyata dapat menurun kualitasnya: klip yang teredam, bingkai yang buram, transkrip yang terpotong. Beri tahu model cara melanjutkan dengan bukti parsial, alih-alih membiarkannya mengarang saluran yang hilang.

• 'Jika audio tidak dapat dipahami pada suatu bagian, tandai sebagai [INAUDIBLE].'
• 'Jika suatu bingkai terlalu buram untuk dibaca, kembalikan TIDAK_TERBACA untuk bidang tersebut.'

Penurunan kualitas yang ditangani dengan baik lebih baik daripada mengarang secara diam-diam.

Tugas multimodal yang sulit mengharuskan Anda menghubungkan siapa yang berbicara (diarisasi audio) dengan siapa yang terlihat (visi). Nyatakan koreferensi secara eksplisit: minta model memetakan label pembicara ke orang-orang dalam bingkai menggunakan waktu serta petunjuk visual seperti gerakan bibir atau gestur.

Paksa model memberikan alasan untuk setiap pemetaan dengan cap waktu dan petunjuk visual.

Jawaban akhir sebaiknya dipadukan agar mudah dibaca, tetapi tetap mempertahankan keterlacakan per saluran di baliknya. Keluarkan objek terstruktur: kesimpulan yang disintesis beserta bukti pendukung dari setiap modalitas, lengkap dengan cap waktu atau kotaknya.

Dengan begitu, manusia dapat menerima ringkasan yang praktis sekaligus mengaudit setiap klaim hingga kembali ke saluran sumbernya.

Sebelum panggilan tri-modal apa pun, pastikan:

• Peran dan urutan prioritas dinyatakan.
• Bingkai dan transkrip diberi cap waktu serta diselaraskan.
• Saluran diprioritaskan agar sesuai dengan anggaran.
• Penguatan dan penandaan ketidaksesuaian diminta.
• Token penurunan kualitas ditentukan (INAUDIBLE, TIDAK_TERBACA).
• Keluaran dipadukan, tetapi buktinya tetap dapat ditelusuri.

Setiap butir menutup mode kegagalan tertentu dalam penggabungan banyak masukan.

Anda sedang menganalisis video tutorial dan perlu mengetahui apakah klaim yang diucapkan narator sesuai dengan tindakan di layar pada setiap langkah.

Pemberian perintah tri-modal berhasil jika Anda menetapkan peran dan urutan prioritas saluran secara eksplisit, menyelaraskan audio dan bingkai berdasarkan cap waktu, memprioritaskan setiap saluran agar sesuai dengan anggaran, serta meminta penguatan per saluran dengan token penurunan kualitas untuk bukti yang hilang. Pilih audio mentah atau pratranskripsi berdasarkan penting tidaknya prosodi. Sajikan ringkasan terpadu yang tetap menelusuri setiap klaim hingga ke kotak atau cap waktunya — mudah dibaca dan tetap dapat diaudit.