Combinando texto e imagens

Uma instrução multimodal não é texto mais uma imagem anexada. É uma sequência única intercalada, na qual tokens de imagem e tokens de texto ocupam o mesmo contexto e interagem entre si. O modelo não 'olha para a imagem e depois lê o texto' — ele processa um fluxo de tokens combinado.

• Os fragmentos da imagem são projetados no mesmo espaço de representações que os tokens de texto.
• A ordem é importante: uma pergunta colocada antes de uma imagem direciona a atenção de forma diferente de uma pergunta colocada depois.
• O senhor está criando uma única instrução com duas formas de apresentação, não duas instruções.

O local onde a imagem é colocada em relação à instrução altera o comportamento. Colocar a instrução depois da imagem permite que o modelo condicione a pergunta ao que já codificou; colocá-la antes transforma a imagem em evidência para uma tarefa declarada previamente.

Em instruções com várias imagens, identifique cada imagem na própria sequência para que o texto posterior possa fazer referência a ela sem ambiguidade ([Image 1], [Image 2]).

Os codificadores de visão têm perdas: detalhes que não são relevantes para a tarefa implícita podem ser descartados durante a agregação. Se você declarar a tarefa antes da imagem, direcionará o modelo a prestar atenção às regiões importantes.

• Solicitações genéricas de legendas produzem características genéricas.
• Uma pergunta específica ('conte os resistores na placa') concentra o orçamento representacional nas sub-regiões relevantes.

Antecipe a especificidade quando forem necessários detalhes minuciosos.

A maioria dos modelos de visão divide imagens de alta resolução em blocos de tamanho fixo, cada um consumindo tokens. Uma imagem de 2000x2000 pode ser dividida em muitos blocos, cada um com resolução reduzida. O orçamento de tokens é a restrição silenciosa das instruções multimodais.

• Faça crop na região de interesse antes de enviar — não conte com o modelo para ampliar a imagem.
• Para documentos densos, envie recortes de páginas em vez de uma única imagem da página inteira.
• Saiba qual é o número máximo de blocos do seu provedor; além desse limite, o texto pequeno se torna ilegível.

Combine a imagem com um esquema explícito de saída no canal de texto. A imagem fornece o conteúdo; o texto fornece o contrato. Isso é muito mais confiável do que uma descrição livre.

Peça JSON com chaves correspondentes às entidades que você espera encontrar e instrua o modelo a emitir null para campos não visíveis — isso suprime detalhes alucinados.

Referências dêiticas ('esta', 'a da esquerda', 'a caixa destacada') vinculam o texto às regiões da imagem. Quando for possível anotar previamente a imagem (desenhar uma caixa, adicionar uma seta), a referência textual se torna muito mais robusta do que usar apenas linguagem espacial.

• Palavras espaciais ('canto superior direito') são propensas a erros quando há rotação ou recorte.
• Um marcador numerado sobreposto, junto de 'objeto nº 3', não deixa margem para ambiguidade.
• Pré-processar a imagem para adicionar marcadores é uma técnica legítima de engenharia de instruções.

Você pode fornecer exemplos de imagem para texto para fixar o formato e o estilo de raciocínio. Cada exemplo é um par intercalado (imagem, resposta ideal). O modelo infere a relação a partir das demonstrações.

Mantenha as imagens de exemplo representativas da distribuição real — um exemplo de um domínio diferente ensina a seleção inadequada de características.

Para extrações de alto risco, exija que o modelo cite onde na imagem cada afirmação se origina. Caixas delimitadoras aproximadas ou texto citado da imagem funcionam como evidência verificável e reduzem drasticamente a fabricação confiante.

• 'Para cada valor, cite exatamente o texto do rótulo que você leu.'
• 'Forneça uma caixa normalizada aproximada [x0,y0,x1,y1] para cada campo.'

A fundamentação transforma uma resposta opaca em uma resposta auditável.

Os modelos multimodais falham de maneiras características:

• Desvio do OCR em fontes pequenas ou estilizadas — dígitos como 1/7 e 0/O são confundidos.
• Colapso da contagem além de aproximadamente 6 objetos semelhantes.
• Viés de legenda: descrever a cena típica em vez da cena real.
• Sobrescrita pelo canal de texto: uma afirmação textual errada e confiante pode suprimir evidências visuais corretas.

Mitigue isso pedindo ao modelo que extraia primeiro da imagem e só depois reconcilie o resultado com quaisquer afirmações textuais.

Quando o contexto textual e a imagem entrarem em conflito, você deverá decidir explicitamente qual tem precedência — não há uma política padrão do modelo em que se possa confiar. Declare-a: 'Se a imagem contradisser os metadados fornecidos, confie na imagem e sinalize a discrepância.'

Essa única frase converte um erro silencioso em um conflito explícito e exposto, que seu fluxo de processamento posterior pode encaminhar para análise.

Criar instruções multimodais para produção é um fluxo de processamento, não uma única chamada:

• Pré-processe: faça crop, anote e reduza a resolução para caber no orçamento.
• Combine: intercale com uma instrução que priorize a tarefa e com um esquema de saída.
• Fundamente: exija evidências para cada afirmação.
• Reconcilie: declare a precedência entre as modalidades.
• Valide: analise o JSON e verifique valores nulos e sinalizadores de conflito.

Cada etapa reduz a superfície de falhas que apenas as instruções não conseguem eliminar.

Você precisa extrair o texto pequeno de um contrato digitalizado em alta resolução e necessita de números confiáveis.

Uma instrução multimodal unificada é um único fluxo de tokens intercalados. Principais técnicas: enquadramento que prioriza a tarefa para direcionar o codificador de visão, consciência da resolução e da divisão em blocos por meio de recortes, esquemas de saída explícitos com campos que aceitam valores nulos, fundamentação nos pixels para cada afirmação e precedência declarada entre modalidades em caso de conflitos. Trate tudo como um fluxo de processamento — pré-processar, combinar, fundamentar, reconciliar, validar — e as partes frágeis das instruções de visão se tornarão controláveis.