Text und Bilder kombinieren

Ein multimodaler Prompt ist nicht einfach Text mit einem angehängten Bild. Er ist eine einzige verschachtelte Sequenz, in der Bild- und Text-Tokens denselben Kontext belegen und sich gegenseitig Aufmerksamkeit zuweisen. Das Modell „betrachtet nicht zuerst das Bild und liest dann den Text“ – es verarbeitet einen zusammengeführten Token-Stream.

• Bildbereiche werden in denselben Embedding-Raum wie Text-Tokens projiziert.
• Die Reihenfolge ist wichtig: Eine Frage, die vor einem Bild steht, aktiviert andere Aufmerksamkeitsmuster als eine Frage, die danach steht.
• Sie verfassen einen Prompt mit zwei Darstellungsformen, nicht zwei Prompts.

Wo Sie das Bild im Verhältnis zur Anweisung platzieren, verändert das Verhalten. Wenn Sie die Anweisung nach dem Bild platzieren, kann das Modell die Frage anhand dessen formulieren, was es bereits kodiert hat. Wenn Sie sie vor dem Bild platzieren, wird das Bild zum Beleg für eine zuvor festgelegte Aufgabe.

Beschriften Sie bei Prompts mit mehreren Bildern jedes Bild inline, damit späterer Text eindeutig darauf verweisen kann ([Image 1], [Image 2]).

Vision-Encoder sind verlustbehaftet: Details, die für die implizite Aufgabe nicht relevant sind, können beim Pooling verworfen werden. Wenn Sie die Aufgabe vor dem Bild nennen, lenken Sie das Modell darauf, den relevanten Regionen Aufmerksamkeit zu widmen.

• Generische Anfragen nach Bildbeschreibungen liefern generische Merkmale.
• Eine spezifische Frage („Zählen Sie die Widerstände auf der Platine“) konzentriert das Repräsentationsbudget auf die relevanten Teilregionen.

Legen Sie die Spezifik vorab fest, wenn feine Details benötigt werden.

Die meisten Vision-Modelle teilen hochauflösende Bilder in Kacheln mit fester Größe auf, die jeweils Tokens kosten. Ein Bild mit 2000x2000 Pixeln kann in viele Kacheln aufgeteilt werden, die jeweils heruntergerechnet werden. Das Tokenbudget ist die stille Einschränkung multimodaler Prompts.

• Schneiden Sie vor dem Senden die relevante Region aus – verlassen Sie sich nicht darauf, dass das Modell zoomt.
• Senden Sie bei umfangreichen Dokumenten Ausschnitte der einzelnen Seiten statt eines einzigen Bildes der gesamten Seite.
• Beachten Sie die maximale Kachelanzahl Ihres Anbieters; darüber hinaus wird kleiner Text unleserlich.

Kombinieren Sie das Bild mit einem expliziten Ausgabeschema im Textkanal. Das Bild liefert den Inhalt, der Text den Vertrag. Das ist deutlich zuverlässiger als eine freie Beschreibung.

Fordern Sie JSON an, dessen Schlüssel den erwarteten Entitäten entsprechen, und weisen Sie das Modell an, für nicht sichtbare Felder null auszugeben – dadurch werden halluzinierte Details unterdrückt.

Deiktische Verweise („dieses“, „das linke“, „das hervorgehobene Feld“) verknüpfen Text mit Bildregionen. Wenn Sie das Bild vorab annotieren können (ein Rechteck einzeichnen, einen Pfeil hinzufügen), ist der Textverweis deutlich robuster als eine rein räumliche Beschreibung.

• Räumliche Angaben („oben rechts“) sind bei Drehungen oder Zuschnitten fehleranfällig.
• Ein überlagerter nummerierter Marker zusammen mit „Objekt #3“ ist eindeutig.
• Die Vorverarbeitung des Bildes zum Hinzufügen von Markern ist ein legitimer Schritt des Prompt-Engineerings.

Sie können Bild-zu-Text-Beispiele bereitstellen, um Format und Argumentationsstil festzulegen. Jedes Beispiel ist ein verschachteltes Paar aus (Bild, idealer Antwort). Das Modell leitet die Zuordnung aus den Demonstrationen ab.

Halten Sie die Beispielbilder repräsentativ für die tatsächliche Verteilung – ein Beispiel aus einer anderen Domäne vermittelt die falsche Merkmalsauswahl.

Fordern Sie bei Extraktionen mit hohen Anforderungen, dass das Modell angibt, wo im Bild jede Aussage ihren Ursprung hat. Ungefähre Bounding-Boxen oder zitierter Text aus dem Bild dienen als überprüfbare Belege und reduzieren selbstsichere Erfindungen drastisch.

• Verwenden Sie normalisierte [x0,y0,x1,y1]-Koordinaten pro Feld.
• „Zitieren Sie für jeden Wert den genauen gelesenen Beschriftungstext.“

Grounding macht aus einer undurchsichtigen Antwort eine prüfbare.

Multimodale Modelle versagen auf charakteristische Weise:

• OCR-Abweichungen bei kleinen oder stilisierten Schriftarten – Ziffern wie 1/7 und 0/O werden verwechselt.
• Zusammenbruch beim Zählen bei mehr als etwa 6 ähnlichen Objekten.
• Beschreibungsverzerrung: Das typische Szenario wird beschrieben statt des tatsächlichen.
• Überschreibung durch den Textkanal: Eine selbstsichere falsche Textaussage kann korrekte visuelle Belege unterdrücken.

Fordern Sie zur Abhilfe, dass das Modell zuerst aus dem Bild ableitet und sich anschließend mit allen Textaussagen auseinandersetzt.

Wenn Textkontext und Bild widersprüchlich sind, müssen Sie den Vorrang ausdrücklich festlegen – das Modell verfügt über keine Standardrichtlinie, der Sie vertrauen können. Schreiben Sie beispielsweise: „Wenn das Bild den bereitgestellten Metadaten widerspricht, vertrauen Sie dem Bild und kennzeichnen Sie die Abweichung.“

Dieser eine Satz verwandelt einen stillen Fehler in einen expliziten, sichtbaren Konflikt, den Ihre nachgelagerte Pipeline zur Prüfung weiterleiten kann.

Multimodales Prompting in der Produktion ist eine Pipeline, kein einzelner Aufruf:

• Vorverarbeiten: zuschneiden, annotieren, auf das Budget herunterskalieren.
• Zusammenführen: mit einer aufgabenorientierten Anweisung und einem Ausgabeschema verschachteln.
• Grounding durchführen: Belege für jede Aussage verlangen.
• Abgleichen: den Vorrang zwischen den Modalitäten festlegen.
• Validieren: JSON parsen, Nullwerte und Konfliktmarkierungen prüfen.

Jede Phase verkleinert die Fehlerfläche, die reines Prompting nicht beseitigen kann.

Ein einheitlicher multimodaler Prompt ist ein einziger verschachtelter Tokenstrom. Die wichtigsten Schritte: aufgabenorientierte Rahmung zur Steuerung des Vision-Encoders, Bewusstsein für Auflösung und Kachelung durch Zuschneiden, explizite Ausgabeschemata mit Feldern, die null zulassen, Grounding auf Pixelebene für jede Aussage und ein festgelegter Vorrang der Modalitäten bei Konflikten. Behandeln Sie das Ganze als Pipeline – vorverarbeiten, zusammenführen, Grounding durchführen, abgleichen, validieren – dann werden die fragilen Aspekte des Vision-Promptings kontrollierbar.