Оптимизация затрат на вызовы LLM

Большие языковые модели (LLM) обладают широкими возможностями, но их использование связано с затратами. Эти затраты часто напрямую зависят от объёма обрабатываемых данных.

Понимание принципов ценообразования LLM и применение продуманных методов разработки промптов могут значительно снизить Ваши операционные расходы.

Большинство поставщиков LLM взимают плату за токены. Токен — это не только слово: он может быть частью слова, отдельным символом или даже пробелом.

• Входные токены: токены в промпте, который Вы отправляете LLM.
• Выходные токены: токены, которые LLM создаёт в своём ответе.

И входные, и выходные токены влияют на общую стоимость обращения к программному интерфейсу.

Представьте это так: каждый символ в Вашем промпте и каждый символ в ответе LLM преобразуется в токены. Затем общее количество токенов умножается на определённый тариф.

Стоимость токенов различается у разных моделей LLM и поставщиков. Более новые и функциональные модели часто имеют более высокие тарифы за токен.

Один из самых простых способов снизить затраты — сделать промпты максимально краткими. Каждое ненужное слово увеличивает количество входных токенов.

• Удаляйте лишние слова: «Пожалуйста, любезно создайте для меня краткое содержание следующего текста.» превращается в «Составьте краткое содержание приведённого ниже текста.»
• Используйте прямые инструкции: чётко сформулируйте цель без излишней вежливости и вступления.

Если Вы работаете с большими документами, подумайте о составлении сводки или извлечении ключевой информации до отправки данных LLM. Не всегда нужно отправлять все исходные данные.

Например, вместо отправки статьи на 5000 слов ради одного вопроса можно сначала использовать более дешёвую компактную модель или простой скрипт, чтобы извлечь нужные абзацы, а затем отправить более крупной LLM промпт, содержащий только эти абзацы.

Неоднозначные промпты и промпты без заданных рамок могут приводить к более длинным и общим ответам, увеличивая количество выходных токенов. Конкретно указывайте, что Вам нужно.

Вместо: «Расскажите мне об изменении климата.»

Попробуйте: «Перечислите три распространённые причины изменения климата в виде маркированного списка.»

Так Вы направите LLM к более короткому и целенаправленному ответу.

Поставщики LLM предлагают множество моделей с разными возможностями и ценами. Использовать самую мощную модель для каждой задачи часто избыточно и дорого.

• Используйте небольшие, быстрые и недорогие модели для простых задач, например извлечения данных или перефразирования.
• Оставляйте более крупные и дорогие модели для сложных рассуждений, творческой генерации или задач, требующих глубокого понимания.

Многие программные интерфейсы LLM позволяют задать параметр max_tokens. Он напрямую ограничивает максимальную длину ответа LLM.

Даже если Ваш промпт составлен идеально, LLM всё равно может быть многословной. Установка max_tokens гарантирует, что Вы не будете платить за чрезмерно длинные или не относящиеся к делу выходные данные.

Сравним два промпта для одной и той же цели:

Затратный промпт: «Здравствуйте, помощник с искусственным интеллектом! Надеюсь, у Вас отличный день. Не могли бы Вы любезно сообщить, как называется столица Франции? Я был бы очень признателен за подробное объяснение её истории и культурного значения, возможно, в нескольких абзацах».

Краткий промпт: «Как называется столица Франции? Ответьте только названием города».

Краткий промпт значительно сокращает число как входных, так и потенциальных выходных токенов, снижая затраты.

Вы создаёте промпт для извлечения основной темы из длинной новостной статьи. Какая стратегия будет наиболее эффективной для снижения затрат на использование программного интерфейса LLM?

Мы изучили несколько основных стратегий оптимизации затрат на использование программного интерфейса LLM:

• Будьте лаконичны: удаляйте из промптов ненужные слова.
• Предварительно обрабатывайте данные: обобщайте или фильтруйте большие входные данные перед созданием промпта.
• Будьте конкретны: направляйте LLM к коротким ответам по существу.
• Выбирайте обдуманно: подбирайте модели, соответствующие сложности задачи.
• Контролируйте выходные данные: используйте такие параметры, как max_tokens, чтобы ограничить длину ответа.

Применяя эти методы, Вы сможете сделать взаимодействие с LLM более экономичным и эффективным!