Ancrage entre les modalités

L’ancrage est l’exigence selon laquelle chaque affirmation textuelle doit pouvoir être reliée à une preuve précise dans une autre modalité. Une réponse multimodale non ancrée est une supposition éloquente ; une réponse ancrée est une affirmation défendable accompagnée d’un renvoi vers les pixels (ou la trame audio) qui la justifient.

• L’ancrage transforme une sortie opaque en sortie vérifiable.
• C’est le levier le plus efficace pour lutter contre les hallucinations visuelles formulées avec assurance.

Forcez le modèle à extraire les preuves avant de tirer une conclusion. Si la conclusion est générée en premier, les « preuves » deviennent une rationalisation a posteriori qui correspond à la réponse, éventuellement erronée.

Structurez la réponse de sorte que les régions observées apparaissent en premier, l’interprétation en deuxième et la réponse finale en dernier.

Demandez au modèle d’émettre des coordonnées normalisées approximatives pour chaque affirmation visuelle. Même des boîtes imparfaites sont utiles : un système en aval peut recadrer et revérifier, tandis qu’une boîte très éloignée de la réalité révèle immédiatement une hallucination.

• Utilisez [x0,y0,x1,y1] normalisé dans l’intervalle 0..1 afin que la résolution soit sans importance.
• Considérez les boîtes comme des indications de localisation, et non comme une détection au pixel près.

Pour tout texte visible dans l’image, exigez une citation mot pour mot de ce que le modèle lit. Une citation mot pour mot peut être vérifiée : vous pouvez la contrôler ponctuellement avec l’OCR, et le modèle est bien moins susceptible d’inventer une valeur qu’il doit également retranscrire exactement.

Cette contrainte de « lecture en retour » est peu coûteuse et particulièrement efficace pour les documents, les graphiques et la signalétique.

Lorsqu’un même fait apparaît dans deux modalités (l’image d’une diapositive et sa narration orale), demandez au modèle de les vérifier par recoupement. La concordance augmente la confiance ; la divergence constitue en elle-même un signal qu’il vaut la peine de faire apparaître.

• « La légende de la figure correspond-elle à ce que montre le graphique ? »
• « La narration est-elle cohérente avec le nombre affiché à l’écran ? »

Un système ancré doit pouvoir répondre « non visible ». Sans issue de secours explicite, le modèle comble les lacunes par des inventions plausibles. Prévoyez cette possibilité et valorisez-la.

Indiquez : « Si la preuve n’existe pas ou est illisible, renvoyez NOT_FOUND plutôt que de deviner. » Faites ensuite de NOT_FOUND une sortie de premier ordre, qui n’est pas pénalisée, dans votre chaîne de traitement.

Les affirmations relationnelles (« la vanne est à gauche du manomètre ») sont plus difficiles à ancrer que la présence d’un objet. Demandez au modèle d’ancrer les deux référents séparément à l’aide de boîtes, puis de déduire la relation à partir des coordonnées plutôt que de l’affirmer directement.

Cette décomposition transforme un jugement relationnel fragile en deux tâches de localisation plus simples, suivies d’un calcul.

L’ancrage se généralise au-delà des images. Pour l’audio ou la vidéo, exigez des horodatages comme preuves : « citez le [mm:ss] où cela a été dit ». Les repères temporels vous permettent de vérifier ponctuellement l’affirmation par rapport au segment source.

• Les horodatages ancrent les affirmations de transcription et de diarisation.
• Ils révèlent les résumés qui s’éloignent de ce qui a réellement été dit.

Une affirmation formulée avec assurance dans le canal textuel peut supprimer des éléments visuels corrects — le modèle s’en remet à la connaissance préalable que vous lui avez fournie. Si votre contexte indique « le total de la facture est de 400 $ » alors que l’image affiche 450 $, un modèle non ancré peut répéter 400 $.

Défense : indiquez au modèle de déduire les informations uniquement depuis l’image dans un premier temps, puis de les comparer au texte fourni et de signaler les divergences plutôt que de les réconcilier silencieusement.

L’ancrage n’est utile que si vous agissez en conséquence. Construisez un vérificateur qui exploite les preuves structurées :

• Recadrez chaque boîte et effectuez un nouvel OCR du texte cité ; divergence → rejet.
• Rejouez l’horodatage cité au moyen d’un second passage ASR.
• Traitez NOT_FOUND et les indicateurs de conflit comme des signaux d’orientation vers une vérification humaine.

L’instruction produit les preuves ; votre système les fait respecter.

Un contrat d’ancrage réutilisable regroupe toutes les techniques :

• Observations avant les conclusions.
• Une boîte et une citation mot pour mot pour chaque affirmation.
• Une issue de secours NOT_FOUND : ne jamais deviner.
• Déduction depuis l’image en premier, puis mise en cohérence avec le texte fourni et signalement des conflits.
• Des horodatages pour toute affirmation audio ou vidéo.

Formalisez-le une fois et réutilisez-le pour chaque tâche multimodale.

Vos métadonnées de contexte indiquent que le total de la commande est de 400 $, mais vous soupçonnez que l’image numérisée peut afficher une autre valeur.

L’ancrage rend les sorties multimodales vérifiables : observations avant les conclusions, boîtes et citations mot pour mot pour chaque affirmation, horodatages pour l’audio et la vidéo, issue de secours NOT_FOUND et déduction depuis l’image en premier, avec signalement des conflits avec le texte fourni. Associez le contrat d’ancrage à un vérificateur en aval qui recadre, relit et oriente les signalements vers une vérification. Les preuves dans l’instruction, l’application des règles dans le système : ensemble, elles neutralisent les hallucinations formulées avec assurance.