Методы сжатия промптов

Добро пожаловать на урок по методам сжатия промптов! На этом уроке Вы узнаете, как сделать свои промпты короче и эффективнее, не снижая их результативность.

Почему это важно?

• Снижение затрат: за количество токенов в программных интерфейсах LLM часто взимается плата.
• Повышение скорости: более короткие промпты могут ускорить получение ответов.
• Расширение контекста: в контекстное окно LLM помещается больше информации.

Прежде чем выполнять сжатие, давайте кратко разберёмся с токенами. LLM обрабатывает текст, разбивая его на более мелкие единицы: слова, части слов или знаки препинания.

Каждый токен стоит денег и занимает место в «контекстном окне» LLM — максимальном объёме текста, который модель может обработать за один раз.

Представьте, что Вы собираете чемодан: нужно уместить в него как можно больше полезных вещей!

Самый простой способ сжатия — удалить ненужные слова или повторяющиеся фразы. Формулируйте мысли прямо и не повторяйте одно и то же несколько раз.

Рассмотрим пример сравнения многословного и краткого промптов. Обратите внимание на сокращение «длины» (которая связана с количеством токенов).

Если Вам нужно обращаться к очень длинному тексту, например статье или документу, не всегда требуется включать его целиком.

Вместо этого попробуйте составить его сводку. Вы даже можете сначала использовать LLM для составления сводки длинного текста, а затем использовать эту сводку в основном промпте!

Иногда даже полная сводка содержит слишком много информации. Для некоторых задач Вам могут понадобиться только определённые ключевые слова, сущности или ключевые факты из большого текста.

Вместо составления сводки попросите LLM (или этап предварительной обработки) извлечь только наиболее важные фрагменты информации, относящиеся к Вашей основной задаче.

Сами инструкции часто можно сделать короче. Удалите вводные пустые фразы, повторения и чрезмерно вежливые формулировки (если только этого не требует определённая роль).

Сразу переходите к тому, что должен сделать LLM. Чёткие краткие команды обычно эффективнее длинных и пространных формулировок.

Проверьте свой промпт на наличие информации, которая напрямую не относится к текущей задаче. Если фрагмент данных или контекста не является необходимым для создания LLM желаемого результата, удалите его.

У каждого фрагмента информации в промпте должна быть своя цель. Если её нет, он лишь добавляет шум и токены.

Для максимальной эффективности часто объединяют несколько методов сжатия:

• Начните с удаления очевидных повторений.
• Составьте сводку или извлеките ключевые моменты из всех длинных вспомогательных текстов.
• Сделайте инструкции максимально ясными и краткими.
• Наконец, удалите все данные, которые не являются абсолютно необходимыми.

Такой поэтапный подход обеспечивает компактность и целенаправленность промпта.

Активно сжимая промпты, Вы получаете несколько преимуществ:

• Снижение затрат на программные интерфейсы: платите меньше за каждый запрос.
• Более быстрые ответы: LLM тратит меньше времени на обработку.
• Более широкий контекст: в рабочую память модели помещается больше сложных задач или данных.
• Повышенная концентрация: LLM лучше сосредотачивается на важной информации.

Это выгодно и для производительности, и для бюджета!

Отличная работа! Вы узнали основные принципы сжатия промптов.

Мы рассмотрели:

• почему сжатие важно (токены, стоимость, скорость и контекст);
• такие методы, как удаление повторений, составление сводок, извлечение ключевых слов, сокращение инструкций и удаление нерелевантных данных;
• преимущества хорошо сжатого промпта.

Продолжайте практиковаться в использовании этих методов, чтобы сделать взаимодействие с LLM более эффективным и экономичным!