Потеря информации в середине

В моделях с длинным контекстом точность извлечения зависит от позиции и образует U-образную кривую: факты в начале и в конце контекста извлекаются хорошо, а факты в середине — хуже всего. Это и есть эффект «затерянного в середине».

• Это свойство механизма внимания и обучения, а не случайность.
• Эффект сохраняется даже тогда, когда ответ однозначно присутствует в контексте.

Позиция не нейтральна: это фактор надёжности, который необходимо учитывать при проектировании.

В середине накладываются несколько факторов: позиционные смещения благоприятствуют самым ранним и недавним токенам, в обучающих данных слишком часто встречаются шаблоны «ответ в начале или в конце», а огромное количество конкурирующих отвлекающих фрагментов внутри контекста рассеивает внимание к каждому отдельному факту.

Вы не можете устранить это смещение из модели, но можете перестать с ним бороться.

Первая и самая надёжная мера: помещайте то, что модель обязана использовать, на границы контекста. Инструкция к задаче и наиболее ценные свидетельства должны находиться ближе к началу и концу, а не быть погребены в центре.

• Начинайте с задачи и ключевых фактов.
• Повторяйте основную инструкцию в самом конце («напоминание о задаче: ...»).

Если вы управляете порядком найденных фрагментов, не размещайте их от начала к концу в порядке оценки поиска. Чередуйте их так, чтобы наиболее релевантные фрагменты находились у обоих краёв, а наименее релевантные заполняли середину, — намеренно используя U-образную кривую.

Такое размещение по краям может устранить значительную часть потерь, связанных с центральными позициями.

Самое дешёвое средство против потерь в середине — сделать середину меньше. Агрессивная предварительная фильтрация — удаление нерелевантных фрагментов до сборки — сокращает внутреннюю область, где факты теряются, и концентрирует внимание на важном.

В сфокусированном промпте на 15 тысяч токенов почти нет уязвимой середины, тогда как промпт на 600 тысяч токенов состоит преимущественно из неё.

Дайте модели карту. Оглавление в начале и понятные якоря разделов позволяют модели переходить к релевантным областям, а не полагаться на извлечение по одной лишь позиции.

• Нумеруйте разделы и ссылайтесь на них в вопросе.
• Добавляйте явные якоря, например SECTION 7: PRICING, которые модель сможет найти.

Структура частично компенсирует ненадёжность позиционного извлечения.

Предложите модели перечислить, где встречается релевантный материал, прежде чем отвечать. Сначала обнаружив свидетельства, модель меньше склонна пропускать середину.

«Сначала перечислите каждый раздел, в котором упоминается плата за продление, вместе с его якорем, затем ответьте». Явное сканирование выявляет содержимое в середине, которое прямой вопрос мог бы пропустить.

Если критически важный факт попал в мёртвую зону и его извлечение ненадёжно, повторите вызов, переместив этот факт к краю. Для задач с несколькими фактами можно выполнять проходы, поочерёдно размещая разные факты на сильных позициях, а затем сопоставлять результаты.

Ротация позиций — практический приём повышения надёжности, когда одна схема размещения ненадёжна.

В исчерпывающих задачах («найдите все нарушения») один огромный проход пропустит элементы в середине. Разделите материал на перекрывающиеся окна, достаточно маленькие, чтобы в них почти не было ненадёжной середины, выполните каждый проход, а затем объедините и удалите дубликаты в результатах.

• Перекрытие предотвращает пропуски на границах.
• Этап объединения согласует дубликаты и противоречия.

Задачи на полный охват лучше решать множеством небольших проходов, а не одним огромным.

Выраженность эффекта зависит от модели и формы промпта. Охарактеризуйте его: размещайте проверочный маркер на разных глубинах и строьте график извлечения. Используйте эту кривую, чтобы определить безопасную длину контекста и политику размещения по краям для данной модели.

Проектируйте систему с учётом измеренного поведения, а не общепринятых представлений.

Чтобы преодолеть эффект «затерянного в середине», уменьшайте объём лишнего материала, размещайте наиболее релевантное содержимое по краям, повторяйте задачу в конце, добавляйте индекс и заставляйте модель сначала найти нужное, а затем ответить, меняйте позиции при повторном запросе и используйте разбиение с последующим объединением для полного охвата. Прежде всего измерьте кривую для своей модели и проектируйте систему с её учётом.

У вас есть один факт, который необходимо использовать, и большой объём вспомогательного контекста, но вы заметили, что модель иногда игнорирует этот факт.

Извлечение из длинного контекста имеет U-образную форму: края надёжны, а середина — нет. Противодействуйте этому, уменьшая объём лишнего материала, размещая наиболее релевантные фрагменты по краям, повторяя задачу в конце, добавляя индекс и заставляя модель сначала найти нужное, а затем ответить, меняя позиции при повторном запросе и используя разбиение с последующим объединением для полного охвата. Измерьте фактическую кривую своей модели и проектируйте размещение с её учётом, вместо того чтобы доверять равномерному извлечению.