Проектирование промптов для продуктивных приложений с LLM

В реальных приложениях промпты — это код: им нужны структура, тестирование и надёжность. Хорошее проектирование промптов уменьшает количество галлюцинаций, обеспечивает нужный формат вывода и помогает контролировать расходы. В этом уроке рассматриваются методы, важные для рабочей среды.

Системный промпт задаёт роль модели, тон общения, ограничения и правила. Формулируйте его конкретно: укажите, чем является ассистент, что он должен и чего не должен делать, а также в каком формате отвечать. Чёткий системный промпт — Ваш самый эффективный инструмент управления моделью.

Подход с несколькими примерами означает, что Вы показываете модели пары примеров «ввод/вывод», чтобы она усвоила закономерность. Разместите их в виде чередующихся сообщений пользователя и ассистента перед настоящим запросом.

Примеры лучше проясняют Ваше намерение, чем одни инструкции. Они закрепляют точный стиль вывода (одно слово, JSON или метку) и значительно повышают стабильность результатов в задачах классификации, извлечения данных и форматирования.

Для ответов, пригодных для обработки программой, запросите режим JSON с помощью response_format. При использовании {"type": "json_object"} модель ограничивается выдачей корректного JSON, который затем можно безопасно разобрать.

Стоимость и ограничения контекста измеряются в токенах. Библиотека tiktoken подсчитывает токены локально, поэтому Вы можете составить бюджет до отправки запроса. Установите её с помощью pip install tiktoken.

У каждой модели есть контекстное окно (максимальное число токенов), а оплата взимается за каждый токен. Предварительный подсчёт позволяет сократить историю, отклонить слишком большие входные данные и спрогнозировать стоимость ещё до того, как запрос покинет Ваш сервер.

Рабочая нагрузка в реальной среде приводит к ограничениям скорости запросов (HTTP 429) и временным ошибкам. Вместо аварийного завершения повторяйте запрос с экспоненциальной задержкой. Библиотека tenacity позволяет сделать это с помощью декоратора в одну строку.

Оформите вызов API декоратором @retry. Используйте wait_exponential, чтобы увеличивать задержку между попытками, и stop_after_attempt, чтобы ограничить их общее число. Это позволяет корректно переживать временные сбои.

При принудительном использовании режима JSON всегда описывайте в промпте точную структуру, которую хотите получить, чтобы имена ключей были предсказуемыми. Явное описание схемы обычным текстом в сочетании с режимом JSON каждый раз даёт результаты, которые можно разобрать и проверить.

Конвейер промпта для рабочей среды: создайте строгий системный промпт, добавьте примеры с несколькими образцами, при необходимости принудительно включите вывод JSON, подсчитывайте токены для управления стоимостью и контекстом, а вызовы оберните в логику retry. Вместе эти приёмы делают функции LLM надёжными.

Вы научились составлять строгие системные промпты, направлять поведение с помощью примеров для обучения по нескольким образцам и гарантировать структурированные ответы через JSON-режим response_format. Вы подсчитывали токены с помощью tiktoken, чтобы управлять контекстом и затратами, а также повысили устойчивость с помощью повторных попыток библиотеки tenacity при ограничениях частоты запросов.