Metin ve Görselleri Birleştirme

Çok modlu bir istem, metin ile eklenmiş bir görüntünün toplamı değildir. Görüntü belirteçleri ile metin belirteçlerinin aynı bağlamda yer aldığı ve birbirini dikkate aldığı tek bir iç içe geçmiş dizidir. Model 'önce görüntüye bakıp sonra metni okumaz'; birleşik bir belirteç akışını işler.

• Görüntü parçaları, metin belirteçleriyle aynı gömme uzayına yansıtılır.
• Sıralama önemlidir: bir soru görüntüden önce yerleştirildiğinde, görüntüden sonra yerleştirilen bir sorudan farklı bir dikkat düzeni oluşturur.
• İki istem değil, iki yüzey biçimine sahip tek bir istem yazıyorsunuz.

Görüntüyü yönergeye göre nereye yerleştirdiğiniz davranışı değiştirir. Yönergeyi görüntünün sonrasına yerleştirmek, modelin soruyu daha önce kodladığı içeriğe göre yorumlamasını sağlar; yönergeyi görüntünün önüne yerleştirmek ise görüntüyü önceden belirtilen görev için kanıta dönüştürür.

Çok görüntülü istemlerde, daha sonraki metnin görüntülere açıkça başvurabilmesi için her görüntüyü istem içinde etiketleyin ([Image 1], [Image 2]).

Görsel kodlayıcılar kayıplıdır: örtük görevle ilgili olmayan ayrıntılar havuzlama sırasında atılabilir. Görevi görüntüden önce belirtirseniz, modeli önemli bölgelere dikkat etmeye yönlendirirsiniz.

• Genel açıklama istekleri genel özellikler üretir.
• Belirli bir soru ('kart üzerindeki dirençleri sayın'), temsili bütçeyi ilgili alt bölgelere odaklar.

İnce ayrıntı gerektiğinde özgüllüğü en başta belirtin.

Çoğu görsel model, yüksek çözünürlüklü görüntüleri her biri belirteç maliyeti oluşturan sabit boyutlu parçalara böler. 2000x2000 boyutundaki bir görüntü, her biri küçültülen çok sayıda parçaya ayrılabilir. Belirteç bütçesi, çok kipli istem oluşturmanın sessiz kısıtıdır.

• Göndermeden önce ilgi bölgesini kırpın — modelin yakınlaştırmasına güvenmeyin.
• Yoğun belgeler için tek bir tam sayfa görüntüsü yerine sayfa kırpmalarını gönderin.
• Sağlayıcınızın izin verdiği en fazla parça sayısını bilin; bu sınır aşıldığında küçük metinler okunamaz hâle gelir.

Görüntüyü, metin kanalında açık bir çıktı şemasıyla birleştirin. Görüntü içeriği sağlar; metin ise sözleşmeyi tanımlar. Bu yaklaşım, serbest biçimli açıklamadan çok daha güvenilirdir.

Görmeyi beklediğiniz varlıkları anahtar alan JSON isteyin ve görünmeyen alanlar için null döndürmesini söyleyin — bu, uydurulmuş ayrıntıları bastırır.

İşaret gösteren göndermeler ('bu', 'soldaki', 'vurgulanmış kutu'), metni görüntü bölgelerine bağlar. Görüntüye önceden açıklama ekleyebildiğinizde (bir kutu çizmek veya ok eklemek), metindeki gönderme tek başına kullanılan mekânsal dilden çok daha sağlam olur.

• Mekânsal ifadeler ('sağ üst'), döndürme veya kırpma durumunda hataya açıktır.
• Görüntünün üzerine yerleştirilmiş numaralı bir işaret ile 'nesne #3' ifadesi belirsizliği ortadan kaldırır.
• İşaretler eklemek için görüntüyü önceden işlemek, geçerli bir istem mühendisliği yaklaşımıdır.

Biçimi ve akıl yürütme tarzını sabitlemek için görüntüden metne örnekler sağlayabilirsiniz. Her örnek, dönüşümlü bir (görüntü, ideal yanıt) çiftidir. Model, gösterimlerden eşlemeyi çıkarır.

Örnek görüntülerin gerçek veri dağılımını temsil etmesini sağlayın — farklı bir alandan alınan bir örnek, yanlış özellik seçimini öğretir.

Kritik çıkarımlarda, modelin her iddianın görüntünün neresinden kaynaklandığını belirtmesini isteyin. Yaklaşık sınırlayıcı kutular veya görüntü üzerindeki alıntılanmış metin, doğrulanabilir kanıt görevi görür ve kendinden emin uydurmaları büyük ölçüde azaltır.

• 'Her değer için okuduğunuz etiket metnini tam olarak alıntılayın.'
• 'Her alan için yaklaşık normalleştirilmiş bir [x0,y0,x1,y1] kutusu verin.'

Dayanaklandırma, opak bir yanıtı denetlenebilir bir yanıta dönüştürür.

Çok kipli modeller belirli biçimlerde başarısız olur:

• Küçük veya stilize yazı tiplerinde OCR kayması — 1/7 ve 0/O gibi rakamlar karıştırılır.
• Yaklaşık 6 benzer nesneyi aştığında sayımın çökmesi.
• Açıklama yanlılığı: gerçek sahne yerine tipik sahnenin açıklanması.
• Metin kanalının baskın çıkması: kendinden emin, yanlış bir metin iddiasının doğru görsel kanıtı bastırması.

Modelden önce görüntüden çıkarım yapmasını, ardından metin iddialarıyla uzlaştırmasını isteyerek bu sorunları azaltın.

Metin bağlamı ile görüntü çeliştiğinde, önceliği açıkça belirlemelisiniz — modelin güvenebileceğiniz varsayılan bir ilkesi yoktur. Şunu belirtin: 'Görüntü, sağlanan üstveriyle çelişiyorsa görüntüye güvenin ve tutarsızlığı işaretleyin.'

Bu tek cümle, sessiz bir hatayı sonraki işlem hattınızın incelemeye yönlendirebileceği açık ve görünür bir çelişkiye dönüştürür.

Üretim ortamında çok kipli istem oluşturma tek bir çağrıdan ibaret değil, bir işlem hattıdır:

• Ön işleme: bütçeye uygun olacak şekilde kırpın, açıklama ekleyin ve küçültün.
• Birleştirme: görev öncelikli bir talimatı ve çıktı şemasını dönüşümlü olarak ekleyin.
• Dayanaklandırma: her iddia için kanıt isteyin.
• Uzlaştırma: kipler arasındaki önceliği belirtin.
• Doğrulama: JSON'u ayrıştırın, boş değerleri ve çelişki işaretlerini kontrol edin.

Her aşama, yalnızca istem oluşturmanın azaltamayacağı hata yüzeyini küçültür.

Birleşik çok kipli istem, dönüşümlü tek bir belirteç akışıdır. Temel yaklaşımlar şunlardır: görsel kodlayıcıyı yönlendirmek için görev öncelikli çerçeveleme, kırpma yoluyla çözünürlük ve döşeme farkındalığı, boş bırakılabilen alanlara sahip açık çıktı şemaları, her iddia için piksel dayanaklandırması ve çelişkilerde kipler arası önceliğin belirtilmesi. Bunu bir işlem hattı olarak ele alın — ön işleme, birleştirme, dayanaklandırma, uzlaştırma, doğrulama — böylece görsel istem oluşturmanın kırılgan bölümleri denetlenebilir hâle gelir.