Fundamentación entre modalidades

El anclaje es el requisito de que toda afirmación textual pueda rastrearse hasta evidencia específica de otra modalidad. Una respuesta multimodal sin anclaje es una conjetura fluida; una respuesta anclada es una afirmación defendible con una referencia a los píxeles (o al fotograma de audio) que la justifican.

• El anclaje convierte una salida opaca en una salida auditable.
• Es la medida individual más eficaz contra las alucinaciones visuales expresadas con confianza.

Obligue al modelo a extraer la evidencia antes de sacar conclusiones. Si genera primero la conclusión, la «evidencia» se convierte en una justificación posterior que coincide con la respuesta, posiblemente incorrecta.

Estructure la respuesta de modo que las regiones observadas aparezcan primero, la interpretación después y la respuesta final al final.

Pida al modelo que emita coordenadas normalizadas aproximadas para cada afirmación visual. Incluso los cuadros imperfectos son valiosos: un sistema posterior puede recortar y volver a verificar, y un cuadro claramente erróneo deja al descubierto una alucinación de inmediato.

• Use [x0,y0,x1,y1] normalizado en 0..1 para que la resolución sea irrelevante.
• Trate los cuadros como pistas de localización, no como detecciones con precisión de píxel.

Para cualquier texto visible en la imagen, exija una cita literal de lo que lee el modelo. Una cita literal se puede comprobar: puede verificarla mediante OCR por muestreo, y es mucho menos probable que el modelo invente un valor que también debe transcribir exactamente.

Esta restricción de «leerlo de nuevo» es económica y resulta desproporcionadamente eficaz para documentos, gráficos y carteles.

Cuando el mismo hecho aparece en dos modalidades (la imagen de una diapositiva y su narración hablada), indique al modelo que las verifique de forma cruzada. La coincidencia aumenta la confianza; la discrepancia es, por sí misma, una señal que merece hacerse visible.

• «¿El pie de la figura coincide con lo que muestra el gráfico?»
• «¿La narración coincide con el número que aparece en pantalla?»

Un sistema anclado debe poder responder «no visible». Sin una vía de escape explícita, el modelo rellena los vacíos con invenciones plausibles. Proporciónela y recompénsela.

Indique: «Si la evidencia no existe o es ilegible, devuelva NOT_FOUND en lugar de adivinar». Después, convierta NOT_FOUND en un resultado de primera clase, sin penalización, dentro de su pipeline.

Las afirmaciones relacionales («la válvula está a la izquierda del manómetro») son más difíciles de anclar que la presencia de un objeto. Pida al modelo que ancle ambos referentes de forma independiente mediante cuadros y, después, derive la relación a partir de las coordenadas en lugar de afirmarla directamente.

Esta descomposición convierte un juicio relacional frágil en dos tareas de localización más sencillas y una operación aritmética.

El anclaje va más allá de las imágenes. Para audio o vídeo, exija marcas de tiempo como evidencia: «cite el [mm:ss] en el que se dijo esto». Las referencias temporales permiten verificar la afirmación frente al segmento de origen.

• Las marcas de tiempo anclan las afirmaciones de transcripción y diarización.
• Dejan al descubierto los resúmenes que se alejan de lo que realmente se dijo.

Una afirmación expresada con confianza en el canal de texto puede suprimir la evidencia visual correcta: el modelo se atiene a la información previa que usted le proporcionó. Si su contexto indica «el total de la factura es $400» y la imagen muestra $450, un modelo sin anclaje puede repetir $400.

Defensa: indique al modelo que deduzca primero exclusivamente a partir de la imagen, después la compare con el texto proporcionado y señale las discrepancias en lugar de reconciliarlas en silencio.

El anclaje solo resulta útil si actúa en consecuencia. Cree un verificador que consuma la evidencia estructurada:

• Vuelva a recortar cada cuadro y a ejecutar el OCR sobre el texto citado; si no coincide -> rechace.
• Reproduzca la marca de tiempo citada mediante una segunda pasada de ASR.
• Trate NOT_FOUND y las marcas de conflicto como señales para derivar el caso a revisión humana.

El prompt produce la evidencia; su sistema hace que se cumpla.

Un contrato de anclaje reutilizable reúne todas las técnicas:

• Observaciones antes de conclusiones.
• Cuadro y cita literal para cada afirmación.
• Vía de escape NOT_FOUND; nunca adivine.
• Derivación basada primero en la imagen; después, reconciliación con el texto proporcionado y señalización de conflictos.
• Marcas de tiempo para cualquier afirmación de audio o vídeo.

Codifíquelo una vez y reutilícelo en todas las tareas multimodales.

El anclaje hace que las salidas multimodales sean auditables: observaciones antes de conclusiones, cuadros y citas literales para cada afirmación, marcas de tiempo para audio y vídeo, una vía de escape NOT_FOUND y una derivación basada primero en la imagen que señale los conflictos con el texto proporcionado. Combine el contrato de anclaje con un verificador posterior que vuelva a recortar, vuelva a leer y derive las marcas a revisión. Evidencia en el prompt y cumplimiento en el sistema: juntos neutralizan las alucinaciones expresadas con confianza.