Menggabungkan Teks dan Gambar

Prompt multimodal bukan sekadar teks ditambah gambar terlampir. Ini adalah urutan tunggal yang diselang-seling, tempat token gambar dan token teks menempati konteks yang sama dan saling memperhatikan. Model tidak 'melihat gambar lalu membaca teks'—model memproses aliran token yang menyatu.

• Potongan gambar diproyeksikan ke ruang penyematan yang sama dengan token teks.
• Urutan penting: pertanyaan yang ditempatkan sebelum gambar memicu perhatian yang berbeda dari pertanyaan yang ditempatkan setelah gambar.
• Anda sedang menulis satu prompt dengan dua bentuk permukaan, bukan dua prompt.

Posisi gambar relatif terhadap instruksi mengubah perilaku. Menempatkan instruksi setelah gambar memungkinkan model mengondisikan pertanyaan berdasarkan apa yang telah dikodekannya; menempatkannya sebelum gambar menjadikan gambar sebagai bukti untuk tugas yang telah dinyatakan sebelumnya.

Untuk prompt dengan banyak gambar, beri label pada setiap gambar secara sebaris agar teks berikutnya dapat merujuknya tanpa ambiguitas ([Image 1], [Image 2]).

Pengode visi bersifat lossy: detail yang tidak relevan dengan tugas implisit dapat dibuang saat pooling. Jika Anda menyatakan tugas sebelum gambar, Anda mengarahkan model untuk memperhatikan wilayah yang penting.

• Permintaan keterangan umum menghasilkan fitur yang umum.
• Pertanyaan spesifik ('hitung resistor pada papan') memusatkan anggaran representasi pada subwilayah yang relevan.

Letakkan spesifikasi di awal jika detail halus diperlukan.

Sebagian besar model visi membagi gambar beresolusi tinggi menjadi petak berukuran tetap, yang masing-masing memerlukan token. Gambar berukuran 2000x2000 dapat dibagi menjadi banyak petak, yang masing-masing diperkecil. Anggaran token adalah batasan tersembunyi dalam pemberian prompt multimodal.

• Potong ke wilayah yang diminati sebelum mengirimnya — jangan mengandalkan model untuk memperbesar tampilan.
• Untuk dokumen padat, kirim potongan halaman, bukan satu gambar halaman penuh.
• Ketahui jumlah petak maksimum penyedia Anda; setelah batas itu terlampaui, teks kecil menjadi tidak terbaca.

Gabungkan gambar dengan skema keluaran eksplisit di kanal teks. Gambar menyediakan konten; teks menyediakan kontrak. Ini jauh lebih andal daripada deskripsi bebas.

Minta JSON dengan kunci berdasarkan entitas yang Anda perkirakan akan terlihat, dan instruksikan model untuk menghasilkan null pada bidang yang tidak terlihat — hal ini menekan detail hasil halusinasi.

Rujukan deiktik ('ini', 'yang di sebelah kiri', 'kotak yang disorot') mengikat teks pada wilayah gambar. Jika Anda dapat memberi anotasi awal pada gambar (menggambar kotak, menambahkan panah), rujukan teks menjadi jauh lebih kuat daripada hanya menggunakan bahasa spasial.

• Kata-kata spasial ('kanan atas') rentan terhadap kesalahan saat gambar diputar atau dipotong.
• Penanda bernomor yang ditumpangkan, ditambah 'objek #3', tidak ambigu.
• Prapemrosesan gambar untuk menambahkan penanda merupakan langkah rekayasa prompt yang sah.

Anda dapat menyediakan contoh gambar-ke-teks untuk mengunci format dan gaya penalaran. Setiap contoh adalah pasangan (gambar, jawaban ideal) yang disisipkan secara berselang-seling. Model menyimpulkan pemetaan dari demonstrasi tersebut.

Pastikan gambar contoh mewakili distribusi nyata — contoh dari ranah berbeda mengajarkan pemilihan fitur yang keliru.

Untuk ekstraksi berisiko tinggi, minta model menyebutkan di mana dalam gambar setiap klaim berasal. Kotak pembatas perkiraan atau teks pada gambar yang dikutip berfungsi sebagai bukti yang dapat diverifikasi dan secara drastis mengurangi fabrikasi yang disampaikan dengan yakin.

• 'Untuk setiap nilai, kutip teks label persis seperti yang Anda baca.'
• 'Berikan kotak ternormalisasi perkiraan [x0,y0,x1,y1] untuk setiap bidang.'

Penautan bukti mengubah jawaban yang tidak transparan menjadi jawaban yang dapat diaudit.

Model multimodal gagal dengan cara-cara yang khas:

• Drift OCR pada fon kecil atau bergaya — angka seperti 1/7 dan 0/O dapat tertukar.
• Keruntuhan penghitungan ketika jumlah objek serupa melebihi sekitar 6.
• Bias keterangan: mendeskripsikan adegan yang umum, bukan adegan yang sebenarnya.
• Penimpaan kanal teks: klaim teks yang salah tetapi disampaikan dengan yakin dapat menekan bukti visual yang benar.

Atasi dengan meminta model menarik kesimpulan dari gambar terlebih dahulu, lalu mencocokkannya dengan pernyataan teks apa pun.

Ketika konteks teks dan gambar bertentangan, Anda harus menentukan prioritas secara eksplisit — model tidak memiliki kebijakan bawaan yang dapat Anda percayai. Nyatakan: 'Jika gambar bertentangan dengan metadata yang diberikan, percayai gambar dan tandai perbedaannya.'

Satu kalimat ini mengubah kesalahan diam-diam menjadi konflik eksplisit yang terlihat, sehingga alur kerja lanjutan Anda dapat mengarahkannya untuk ditinjau.

Pemberian prompt multimodal di lingkungan produksi adalah alur kerja, bukan satu panggilan:

• Praproses: potong, beri anotasi, perkecil sesuai anggaran.
• Fusikan: selang-selingkan dengan instruksi yang mendahulukan tugas dan skema keluaran.
• Tautkan bukti: minta bukti untuk setiap klaim.
• Rekonsiliasikan: nyatakan prioritas antar modalitas.
• Validasi: uraikan JSON, periksa nilai null dan penanda konflik.

Setiap tahap mempersempit permukaan kegagalan yang tidak dapat diatasi oleh pemberian prompt saja.

Anda harus mengekstrak tulisan kecil dari hasil pemindaian kontrak beresolusi tinggi dan memerlukan angka yang andal.

Prompt multimodal terpadu adalah satu aliran token yang disisipkan secara berselang-seling. Langkah utama: perumusan yang mendahulukan tugas untuk mengarahkan pengode visi, kesadaran terhadap resolusi/pemotongan ubin melalui pemotongan gambar, skema keluaran eksplisit dengan bidang yang boleh bernilai null, penautan ke piksel untuk setiap klaim, dan prioritas modalitas yang dinyatakan saat terjadi konflik. Perlakukan semuanya sebagai alur kerja — praproses, fusikan, tautkan bukti, rekonsiliasikan, validasi — agar bagian-bagian pemberian prompt visi yang rapuh menjadi terkendali.