Привязка между модальностями

Привязка к источнику — это требование, согласно которому каждое текстовое утверждение можно проследить до конкретного свидетельства в другой модальности. Мультимодальный ответ без привязки — это беглая догадка, а ответ с привязкой — обоснованное утверждение с указателем на пиксели (или аудиокадр), которые его подтверждают.

• Привязка превращает непрозрачный вывод в проверяемый.
• Это самый действенный способ противостоять уверенным зрительным галлюцинациям.

Заставьте модель извлекать свидетельства до формирования вывода. Если вывод создаётся первым, «свидетельства» превращаются в последующее обоснование, подогнанное под уже полученный (возможно, ошибочный) ответ.

Структурируйте ответ так, чтобы сначала шли наблюдаемые области, затем интерпретация и только потом окончательный ответ.

Попросите модель выводить приблизительные нормализованные координаты для каждого визуального утверждения. Даже неточные рамки полезны: последующая система может обрезать область и повторно проверить её, а явно неправильная рамка сразу обнаруживает галлюцинацию.

• Используйте нормализованные координаты [x0,y0,x1,y1] в диапазоне от 0 до 1, чтобы разрешение не имело значения.
• Рассматривайте рамки как подсказки для локализации, а не как обнаружение с точностью до пикселя.

Для любого текста, видимого на изображении, требуйте дословно цитировать прочитанное моделью. Дословную цитату можно проверить: Вы можете выборочно сопоставить её с OCR, и модели гораздо сложнее выдумать значение, которое ей также придётся точно переписать.

Это ограничение «прочитать и воспроизвести» дёшево и непропорционально эффективно для документов, диаграмм и вывесок.

Когда один и тот же факт присутствует в двух модальностях (на изображении слайда и в его устном объяснении), попросите модель сопоставить их. Совпадение повышает уверенность, а расхождение само по себе является важным сигналом, который следует обнаружить.

• «Соответствует ли подпись к рисунку тому, что показывает диаграмма?»
• «Совпадает ли устное объяснение с числом на экране?»

Система с привязкой к источнику должна иметь возможность ответить «не видно». Без явно предусмотренного выхода модель заполнит пробелы правдоподобными выдумками. Предоставьте такую возможность и поощряйте её использование.

Дайте инструкцию: «Если свидетельство отсутствует или неразборчиво, верните NOT_FOUND, а не угадывайте». Затем сделайте результат «НЕ_НАЙДЕНО» полноценным и нештрафуемым вариантом вывода в Вашем конвейере.

Реляционные утверждения («клапан находится слева от манометра») сложнее привязать к источнику, чем наличие объекта. Попросите модель независимо привязать обоих участников с помощью рамок, а затем вывести отношение из координат, не утверждая его напрямую.

Такое разложение превращает хрупкое реляционное суждение в две более простые задачи локализации и арифметику.

Привязка к источнику распространяется не только на изображения. Для аудио или видео требуйте временные метки как свидетельство: «укажите временную метку [mm:ss], где это было сказано». Временные указатели позволяют сопоставить утверждение с исходным фрагментом.

• Временные метки привязывают утверждения о транскрипции и диаризации.
• Они обнаруживают пересказ, отклоняющийся от того, что было сказано на самом деле.

Уверенное утверждение в текстовом канале может подавить правильные визуальные свидетельства — модель отдаёт предпочтение предоставленному ранее утверждению. Если в Вашем контексте сказано «итоговая сумма счёта составляет $400», а на изображении указано $450, модель без привязки может повторить $400.

Защита: попросите модель сначала вывести сведения исключительно из изображения, затем сопоставить их с предоставленным текстом и отметить расхождения, а не молча согласовывать их.

Привязка полезна только в том случае, если Вы используете её результаты. Создайте средство проверки, которое получает структурированные свидетельства:

• Повторно обрежьте каждую рамку и выполните повторный OCR для процитированного текста; несовпадение → отклонить.
• Повторно обработайте указанную временную метку с помощью второго прохода ASR.
• Рассматривайте результаты «НЕ_НАЙДЕНО» и флаги конфликтов как сигналы для направления на проверку человеком.

Запрос создаёт свидетельства, а Ваша система обеспечивает их соблюдение.

Повторно используемый контракт привязки объединяет все приёмы:

• Наблюдения до выводов.
• Рамка и дословная цитата для каждого утверждения.
• «НЕ_НАЙДЕНО» как запасной выход — никогда не угадывайте.
• Вывод сначала из изображения, затем согласование с предоставленным текстом и обнаружение конфликтов.
• Временные метки для любых утверждений об аудио или видео.

Зафиксируйте этот подход один раз и используйте его повторно для любых мультимодальных задач.

Привязка делает мультимодальный вывод проверяемым: наблюдения до выводов, рамки и дословные цитаты для каждого утверждения, временные метки для аудио и видео, возможность вернуть «НЕ_НАЙДЕНО» и вывод сначала из изображения с обнаружением конфликтов с предоставленным текстом. Объедините контракт привязки с последующим средством проверки, которое повторно обрезает области, перечитывает данные и направляет флаги на проверку. Свидетельства — в запросе, обеспечение соблюдения — в системе: вместе они нейтрализуют уверенные галлюцинации.