テキストと画像の組み合わせ

マルチモーダルプロンプトは、テキストに画像を添付したものではありません。画像トークンとテキストトークンが同じコンテキスト内に存在し、互いにアテンションを向ける単一のインターリーブされたシーケンスです。モデルは「画像を見てからテキストを読む」のではなく、融合されたトークンストリームを処理します。

• 画像パッチは、テキストトークンと同じ埋め込み空間に射影されます。
• 順序が重要です。画像の前に置いた質問は、画像の後に置いた質問とは異なるアテンションを促します。
• 作成するのは2つのプロンプトではなく、2つの表層形式を持つ1つのプロンプトです。

指示に対して画像をどこに配置するかで、挙動が変わります。画像の後に指示を置くと、モデルはすでにエンコードした内容に基づいて質問を解釈できます。画像の前に置くと、あらかじめ示されたタスクに対する証拠として画像を扱います。

複数画像のプロンプトでは、後続のテキストから曖昧さなく参照できるよう、各画像をインラインでラベル付けしてください（[Image 1]、[Image 2]）。

ビジョンエンコーダーは情報を失います。暗黙のタスクに関係しない細部は、プーリングの過程で破棄されることがあります。画像を提示する前にタスクを明示すると、モデルが重要な領域に注目するよう誘導できます。

• 一般的なキャプション要求からは、一般的な特徴しか得られません。
• 具体的な質問（『ボード上の抵抗器の数を数えてください』など）をすると、表現の予算が関連する部分領域に集中します。

細部が必要な場合は、最初に具体性を持たせてください。

ほとんどのビジョンモデルは、高解像度画像を固定サイズのパッチに分割します。それぞれのパッチでトークンが消費されます。2000x2000の画像は多数のタイルに分割され、それぞれがダウンサンプリングされる場合があります。トークン予算はマルチモーダルプロンプトの見えにくい制約です。

• 送信前に関心領域を切り抜いてください。モデルがズームしてくれるとは限りません。
• 情報量の多い文書では、ページ全体を1枚の画像で送るのではなく、ページの切り抜きを送ってください。
• プロバイダーが許容する最大タイル数を把握してください。それを超えると、細かい文字が読めなくなります。

画像と、テキストチャネル内の明示的な出力スキーマを組み合わせてください。画像が内容を提供し、テキストが契約を提供します。これは自由形式の説明よりもはるかに信頼性が高くなります。

表示されると想定しているエンティティをキーとするJSONを要求し、見えないフィールドにはnullを出力するよう指示してください。これにより、幻覚による細部の生成を抑制できます。

指示表現（『これ』『左側にあるもの』『強調表示されたボックス』など）は、テキストを画像内の領域に結び付けます。画像にあらかじめ注釈を付けられる場合（ボックスを描く、矢印を追加するなど）、テキストによる参照は空間的な表現だけの場合よりもはるかに堅牢になります。

• 空間を表す語（『右上』など）は、回転や切り抜きがあると誤りやすくなります。
• 番号付きのマーカーを重ねて『object #3』と指定すれば、曖昧さがなくなります。
• マーカーを追加するための画像の前処理は、正当なプロンプトエンジニアリングの手法です。

画像からテキストへの例を提示して、形式と推論のスタイルを固定できます。各ショットは、画像と理想的な回答を組み合わせたペアを交互に並べたものです。モデルは、これらのデモンストレーションから対応関係を推測します。

例の画像は実際のデータ分布を代表するものにしてください。異なる領域の例を使うと、誤った特徴の選択方法を学習させることになります。

重要度の高い情報抽出では、各主張が画像のどこに由来するのかをモデルに示させてください。おおよそのバウンディングボックスや画像上に記載されたテキストの引用は、検証可能な証拠として機能し、自信に満ちた捏造を大幅に減らします。

• 『各値について、読み取ったラベルのテキストを正確に引用してください。』
• 『各フィールドについて、おおよその正規化ボックス [x0,y0,x1,y1] を指定してください。』

グラウンディングによって、不透明な回答が監査可能な回答になります。

マルチモーダルモデルには、特徴的な失敗パターンがあります。

• 小さいフォントや装飾的なフォントでのOCRのずれ。1/7や0/Oのような文字を取り違えます。
• 似た物体が約6個を超えると発生するカウントの破綻。
• キャプションバイアス。実際の場面ではなく、典型的な場面を説明してしまいます。
• テキストチャネルによる上書き。自信のある誤ったテキストの主張が、正しい視覚的証拠を抑制してしまいます。

まず画像から導出し、その後でテキストによる主張と照合するよう求めることで、これらを軽減できます。

テキストのコンテキストと画像が矛盾する場合は、どちらを優先するかを明示的に決める必要があります。モデルには信頼できるデフォルトの方針がないためです。たとえば、次のように指定します。『画像が提供されたメタデータと矛盾する場合は、画像を信頼し、相違を報告してください。』

この一文だけで、見えないエラーが、後続のパイプラインでレビューに回せる明示的な対立として表面化します。

本番環境のマルチモーダルプロンプトは、1回の呼び出しではなくパイプラインです。

• 前処理：予算に合わせて切り抜き、注釈付け、縮小を行います。
• 融合：タスクを先に示す指示と出力スキーマを交互に組み込みます。
• グラウンディング：主張ごとの証拠を要求します。
• 照合：モダリティ間の優先順位を明示します。
• 検証：JSONを解析し、nullと競合フラグを確認します。

各段階によって、プロンプトだけでは縮小できない失敗の範囲を狭められます。

高解像度の契約書スキャンから細かい注記を抽出し、信頼できる数値を取得する必要があります。

統合されたマルチモーダルプロンプトは、1つの交互に並んだトークンストリームです。重要な手法は、ビジョンエンコーダーを誘導するタスク優先の設定、切り抜きによる解像度とタイル分割への配慮、nullを許容するフィールドを含む明示的な出力スキーマ、すべての主張に対するピクセルグラウンディング、そして競合時のモダリティの優先順位の明示です。前処理、融合、グラウンディング、照合、検証というパイプラインとして扱えば、壊れやすい視覚プロンプティングの部分を制御可能にできます。