Pendasaran Lintas Modalitas

Penautan bukti adalah persyaratan bahwa setiap klaim tekstual dapat ditelusuri ke bukti tertentu dalam modalitas lain. Jawaban multimodal tanpa penautan bukti hanyalah tebakan yang lancar; jawaban yang tertaut pada bukti adalah pernyataan yang dapat dipertanggungjawabkan, dengan rujukan kembali ke piksel (atau bingkai audio) yang mendukungnya.

• Penautan bukti mengubah keluaran yang tidak transparan menjadi keluaran yang dapat diaudit.
• Ini adalah cara paling efektif untuk melawan halusinasi visual yang disampaikan dengan yakin.

Paksa model mengekstrak bukti sebelum menarik kesimpulan. Jika kesimpulan dibuat terlebih dahulu, 'bukti' menjadi rasionalisasi setelah kejadian yang disesuaikan dengan jawaban yang mungkin salah.

Susun respons sehingga wilayah yang diamati muncul terlebih dahulu, interpretasi kedua, dan jawaban akhir terakhir.

Minta model menghasilkan koordinat ternormalisasi perkiraan untuk setiap klaim visual. Bahkan kotak yang tidak sempurna tetap bermanfaat: sistem lanjutan dapat memotong ulang dan memverifikasi ulang, sementara kotak yang sangat keliru langsung menyingkap halusinasi.

• Gunakan [x0,y0,x1,y1] ternormalisasi dalam rentang 0..1 agar resolusi tidak berpengaruh.
• Perlakukan kotak sebagai petunjuk pelokalan, bukan deteksi yang tepat hingga tingkat piksel.

Untuk teks apa pun yang terlihat dalam gambar, minta kutipan kata demi kata dari apa yang dibaca model. Kutipan kata demi kata dapat diperiksa: Anda dapat melakukan pemeriksaan sampel OCR terhadapnya, dan model jauh lebih kecil kemungkinannya mengarang nilai yang juga harus ditranskripsikannya secara persis.

Batasan 'baca kembali' ini murah dan sangat efektif untuk dokumen, bagan, dan papan informasi.

Ketika fakta yang sama muncul dalam dua modalitas (gambar salindia dan narasi lisannya), minta model untuk memeriksa silang keduanya. Kesepakatan meningkatkan keyakinan; ketidaksepakatan itu sendiri merupakan sinyal yang layak ditampilkan.

• 'Apakah keterangan gambar sesuai dengan yang ditunjukkan bagan?'
• 'Apakah narasi sesuai dengan angka di layar?'

Sistem yang memiliki penautan bukti harus diperbolehkan mengatakan 'tidak terlihat'. Tanpa jalan keluar yang eksplisit, model akan mengisi kekosongan dengan fabrikasi yang masuk akal. Sediakan pilihan tersebut dan beri penghargaan atas penggunaannya.

Instruksikan: 'Jika bukti tidak ada atau tidak terbaca, kembalikan NOT_FOUND, bukan menebak.' Kemudian jadikan NOT_FOUND keluaran utama yang tidak dikenai penalti dalam alur kerja Anda.

Klaim relasional ('katup berada di sebelah kiri pengukur') lebih sulit ditautkan ke bukti daripada keberadaan objek. Minta model menautkan kedua acuan secara terpisah dengan kotak, lalu turunkan hubungannya dari koordinat alih-alih menyatakannya secara langsung.

Penguraian ini mengubah penilaian relasional yang rapuh menjadi dua tugas pelokalan yang lebih sederhana ditambah aritmetika.

Penautan bukti berlaku lebih luas daripada gambar. Untuk audio atau video, minta cap waktu sebagai bukti: 'sebutkan [mm:ss] saat hal ini diucapkan.' Rujukan temporal memungkinkan Anda memeriksa klaim terhadap segmen sumber.

• Cap waktu menjadi jangkar bagi klaim transkripsi dan diarization.
• Cap waktu menyingkap ringkasan yang menyimpang dari apa yang sebenarnya diucapkan.

Pernyataan yakin dalam kanal teks dapat menekan bukti visual yang benar — model mengikuti prior yang Anda berikan. Jika konteks Anda menyatakan 'total faktur adalah $400' sementara gambar menunjukkan $450, model tanpa penautan bukti mungkin mengulang $400.

Pertahanan: instruksikan model untuk menarik kesimpulan murni dari gambar terlebih dahulu, kemudian membandingkannya dengan teks yang diberikan, dan menandai ketidaksesuaian alih-alih merekonsiliasikannya secara diam-diam.

Penautan bukti hanya berguna jika Anda menindaklanjutinya. Bangun pemeriksa yang menggunakan bukti terstruktur:

• Potong ulang setiap kotak dan lakukan OCR ulang pada teks yang dikutip; ketidakcocokan -> tolak.
• Putar ulang cap waktu yang dikutip melalui proses ASR kedua.
• Perlakukan NOT_FOUND dan penanda konflik sebagai sinyal pengalihan untuk ditinjau manusia.

Prompt menghasilkan bukti; sistem Anda menegakkannya.

Kontrak penautan bukti yang dapat digunakan kembali menggabungkan setiap teknik:

• Pengamatan sebelum kesimpulan.
• Kotak + kutipan kata demi kata untuk setiap klaim.
• Jalan keluar NOT_FOUND, jangan pernah menebak.
• Penarikan kesimpulan dari gambar terlebih dahulu, lalu rekonsiliasi dengan teks yang diberikan dan tandai konflik.
• Cap waktu untuk setiap klaim audio/video.

Jadikan ini aturan sekali, lalu gunakan kembali pada setiap tugas multimodal.

Penautan bukti membuat keluaran multimodal dapat diaudit: pengamatan sebelum kesimpulan, kotak dan kutipan kata demi kata untuk setiap klaim, cap waktu untuk audio/video, jalan keluar NOT_FOUND, serta penarikan kesimpulan dari gambar terlebih dahulu yang menandai konflik dengan teks yang diberikan. Padukan kontrak penautan bukti dengan pemeriksa lanjutan yang memotong ulang, membaca ulang, dan mengarahkan penanda untuk ditinjau. Bukti dalam prompt, penegakan dalam sistem — bersama-sama keduanya menetralkan halusinasi yang disampaikan dengan yakin.