Сжатие контекста

Найденные фрагменты зашумлены: релевантный фрагмент может почти целиком состоять из шаблонного текста и содержать всего одно ключевое предложение. Сжатие контекста сокращает найденный текст до действительно отвечающей на запрос части, прежде чем он попадёт к генератору.

Преимущества накапливаются: снижаются затраты на токены и задержка, становится меньше отвлекающих сведений, а эффект потери информации в середине ослабевает благодаря уменьшению контекста, который должна обработать модель.

extractive-сжатие выбирает дословные фрагменты — предложения или отрывки, релевантные запросу, — сохраняя точную формулировку и происхождение данных. Абстрактивное сжатие перефразирует или обобщает текст, обеспечивая более сильное сжатие, но повышая риск потери информации и появления новых ошибок.

Для фактологической RAG с цитатами предпочитайте extractive-сжатие, чтобы утверждения можно было отследить до источника; применяйте абстрактивное сжатие только в тех случаях, когда достоверность можно проверить.

Это простой и надёжный метод: оцените каждое предложение каждого фрагмента относительно запроса с помощью небольшого кросс-энкодера или сходства векторных представлений и удалите предложения с низкой оценкой. Так сохраняются ценные предложения и отбрасывается наполнитель.

Сохраняйте для каждого фрагмента минимальный контекст, чтобы не удалить соседнее предложение, придающее факту смысл.

LLM может сжимать каждый фрагмент отдельно: попросите её извлечь из отрывка только части, релевантные запросу, и вернуть фрагмент без изменений, но с удалёнными лишними частями, либо пустой маркер, если релевантных частей нет.

Это шаблон LangChain ContextualCompressionRetriever. Он точнее фильтров на основе векторных представлений, но добавляет отдельный вызов LLM для каждого фрагмента, поэтому используйте его в критически важных конвейерах или обрабатывайте фрагменты пакетно.

Такие методы, как LLMLingua, сжимают текст на уровне токенов: небольшая модель оценивает информативность каждого токена и удаляет малоинформативные токены. Это позволяет добиться значительного коэффициента сжатия, сохранив сигнал, необходимый большой модели.

Компромисс заключается в том, что сжатый текст становится менее понятным человеку, поэтому такой подход подходит для контекста, предназначенного только для модели, но не для отображения пользователю.

Сжатие с учётом запроса сохраняет сведения, релевантные этому запросу, и создаёт наиболее компактный контекст, но должно выполняться для каждого запроса. Сжатие без учёта запроса — например, заранее подготовленные краткие содержания фрагментов — дешевле во время обработки запроса, но не может сосредоточиться на конкретном вопросе.

Гибридный подход сохраняет сжатые версии фрагментов, подготовленные заранее, и применяет лёгкое удаление лишнего с учётом запроса во время обработки.

Агрессивное сжатие может удалить единственную важную оговорку. Защититесь с помощью проверки полноты: убедитесь, что из сжатого контекста по-прежнему следует ответ, или сохраняйте запасной вариант с несжатым фрагментом, если компрессор вернул подозрительно мало текста.

Никогда не позволяйте сжатию превращать фрагмент в пустой, если переранжировщик оценил его как высокорелевантный: это указывает на сбой компрессора, а не на нерелевантность.

Сжатие должно сохранять указание источника. Помечайте каждый сохранённый фрагмент его фрагментом и ID документа, чтобы генератор мог сослаться на него. Если при сжатии удалить метаданные, вы потеряете возможность проверки и обнаружения галлюцинаций.

Передавайте ID через конвейер в структурированных полях, а не в виде произвольного текста, который сжатие может удалить.

Сжатие позволяет находить больше кандидатов для повышения полноты, сохраняя небольшой итоговый промпт. Установите бюджет токенов для контекстного окна и жадно добавляйте наиболее ценные сжатые фрагменты, пока бюджет не будет исчерпан.

Это отделяет объём найденных данных от объёма ресурсов, затрачиваемых на генерацию, и служит важным рычагом эффективности.

Отслеживайте три показателя: коэффициент сжатия — сколько токенов удалось сэкономить, точность ответа — сохранилось ли качество, — и достоверность — не изменил ли компрессор факты. Цель состоит в том, чтобы достичь наибольшего коэффициента сжатия без изменения точности ответа.

Проверьте разные уровни агрессивности сжатия и выберите точку Парето, которая соответствует целевой стоимости и не снижает качество.

Сквозной процесс выглядит так: выполните широкий поиск, переранжируйте результаты, сожмите каждый оставшийся фрагмент — экстрактивным методом или на основе LLM — вместе с данными о происхождении, защититесь от чрезмерного сокращения, добавьте фрагменты в пределах бюджета токенов и сгенерируйте ответ с цитатами.

Сжатие — это слой, который делает поиск с высокой полнотой доступным по стоимости и помогает генератору сосредоточиться на важном.

Выберите правильный подход к сжатию для фактологической RAG-системы с цитатами.

Главные выводы:

• Сжатие сокращает найденные фрагменты до содержимого, релевантного запросу, снижая затраты, задержку и количество отвлекающих сведений.
• Для фактологической RAG с цитатами предпочитайте extractive-сжатие — дословное и прослеживаемое — абстрактивному; сокращение на уровне токенов подходит для контекста, предназначенного только для модели.
• Сжатие с учётом запроса даёт наиболее компактный результат, но выполняется для каждого запроса; для эффективности сочетайте его с заранее подготовленными краткими содержаниями.
• Защищайтесь от потери информации и сохраняйте происхождение фрагментов и документов для цитирования.
• Используйте сжатие, чтобы выполнять широкий поиск и одновременно сохранять небольшие промпты; настройте его на максимальный коэффициент сжатия без потери точности ответа.