Когда достаточно подсказок

Прежде чем обращаться к дообучению, считайте инструкции нулевой гипотезой. Современные передовые модели обладают достаточными скрытыми возможностями, поэтому большинство задач связано с извлечением знаний и следованием инструкциям, а не с изменением весов.

Дорогая ошибка, которую совершают команды, — сразу запускать обучение, хотя хорошо структурированная инструкция, несколько примеров и доступ к инструментам позволили бы устранить разрыв без дополнительных затрат на обучение. Дообучение оправдано только тогда, когда инструкции доказуемо достигают предела.

• Инструкции меняются для каждого запроса, а дообучение меняет модель
• Инструкции можно отменить за несколько секунд, а настроенная контрольная точка становится зафиксированным артефактом
• Начинайте с дешёвого решения и переходите к более сложному только при наличии доказательств

Сравнивайте подходы по трём независимым измерениям затрат, а не только по денежным расходам:

• Затраты на итерацию — насколько быстро можно изменить поведение? Для инструкций: минуты. Для дообучения: от нескольких часов до нескольких дней на цикл.
• Затраты на выполнение — при инструкциях каждый вызов оплачивает токены длинных инструкций и примеров; дообученная модель может встроить это поведение в веса и сократить инструкцию.
• Затраты на сопровождение — инструкция хранится в системе контроля версий и доступна для проверки; контрольную точку необходимо повторно настраивать всякий раз, когда базовая модель объявляется устаревшей.

Инструкции выигрывают по затратам на итерации и сопровождение, а дообучение может выиграть по стоимости выполнения при больших объёмах.

Аргумент о стоимости выполнения запросов в пользу дообучения действует только выше порогового объема. Явно смоделируйте точку перехода: длинный промпт с несколькими примерами, добавляющий 2 000 входных токенов к каждому вызову, создает постоянные расходы; дообученная модель распределяет стоимость обучения по всему объему.

Если ваш трафик ниже точки безубыточности, промпт с несколькими примерами однозначно дешевле и гибче.

Самый сильный аргумент в пользу промптинга — возможность выбора в условиях неопределенности. Требования меняются: новый особый случай, изменение политики, новое поле в выходных данных. При промптинге вы исправляете текст; с дообученной моделью вам придется заново собирать данные и обучать ее.

Пока постановка задачи меняется — ранний этап продукта, неоднозначная спецификация, частые изменения со стороны заинтересованных лиц — промптинг почти всегда является правильным выбором. Фиксируйте веса только после того, как целевые требования перестанут меняться.

Многие задачи, которые кажутся требующими дообучения, решаются методами на уровне промпта:

• Соблюдение формата — структурированный вывод и ограничения схемы JSON, а не обучение
• Тон предметной области — блок примеров стиля и явное описание манеры речи
• Глубина рассуждений — разбиение на части, цепочка рассуждений или этап планирования
• Пробелы в знаниях — поиск (RAG) добавляет факты; дообучение встраивает устаревшие факты

Обращайтесь к дообучению только для задач, которые промптинг структурно не способен решить: сжатия промпта ради снижения задержки, глубоко специфичных форматов или поведения, которому модель сопротивляется даже при четких инструкциях.

Распространенная ошибка: команды дообучают модель, чтобы встроить знания, хотя должны получать их поиском. Дообучение плохо подходит для обучения фактам: оно приводит к потере информации, дорого обновляется и склонно галлюцинировать при интерполяции между обучающими примерами.

Эвристика: если пробел связан с тем, что знает модель, используйте поиск. Если пробел связан с тем, как ведет себя модель, рассмотрите дообучение. Знания меняются ежедневно; поведение — редко.

Прежде чем объявлять промптинг недостаточным, пройдите всю лестницу. Большинство команд сдается на второй ступени:

• Ступень 1: четкая инструкция, роль и явный контракт на выходные данные
• Ступень 2: несколько примеров, охватывающих особые случаи
• Ступень 3: разбиение задачи на несколько связанных вызовов
• Ступень 4: использование инструментов и поиск для передачи знаний и вычислений внешним средствам
• Ступень 5: самокритика или проходы проверяющего модуля

Только после исчерпания ступеней 1–5 на отложенном наборе для оценки дообучение становится оправданным.

Длинные промпты стоят дороже не только денег — они требуют времени. Входные токены во многих системах выдачи ответов в основном определяют время до первого токена. Инструкция с примерами объемом 4 000 токенов создает заметную дополнительную задержку при каждом вызове.

Это единственная область, в которой промптинг действительно проигрывает при большом масштабе: когда вам нужны и поведение, задаваемое длинным промптом, и ответы быстрее 100 мс, правильным решением будет перенести это поведение в небольшую дообученную модель. Но сначала убедитесь, что ограничение по задержке действительно существует, а не является предположением.

Принимайте решение на основе совокупной стоимости владения артефактом за весь срок его существования, а не по первому счету. Дообученная версия модели несет скрытые постоянные расходы:

• Повторное дообучение, когда поставщик выводит из употребления базовую модель (часто каждые 6–12 месяцев)
• Конвейер данных и процесс разметки, которые необходимо поддерживать
• Инфраструктура оценки для выявления регрессий после каждого повторного дообучения
• Сложность управления версиями, отката и A/B-обслуживания

Совокупная стоимость промптинга в основном сводится к текстовому файлу и набору для оценки. Для команд без зрелой практики эксплуатации ML эта асимметрия сама по себе позволяет промптингу оставаться более выгодным намного дольше, чем ожидается.

Промптинга достаточно, если на большинство вопросов вы можете ответить YES:

• Меняется ли спецификация задачи из месяца в месяц?
• Находится ли объем ниже рассчитанного вами порога безубыточности?
• Связан ли пробел со знаниями, которые можно получить поиском, а не с поведением?
• Показывает ли отложенная оценка приемлемое качество промптинга после прохождения всей лестницы?
• Допускает ли ваш бюджет задержки такую длину промпта?
• Не располагает ли ваша команда поддерживаемым конвейером дообучения и оценки?

Три или более ответа YES означают: продолжайте использовать промптинг и возвращайтесь к этому вопросу только после изменения обстоятельств.

Представьте решение в виде данных, а не интуитивного впечатления. Небольшая функция подсчета баллов заставляет команду явно зафиксировать допущения — объем, задержку и стабильность спецификации — и впоследствии делает рекомендацию проверяемой.

Команда хочет, чтобы модель отвечала на вопросы о документах, которые обновляются ежедневно. Какой подход наиболее уместен и почему?

Промптинг — вариант по умолчанию; дообучение — следующий шаг. Продолжайте использовать промптинг, пока спецификация меняется, объем остается ниже точки безубыточности, а пробел связан со знаниями, а не с поведением.

• Сравнивайте затраты на итерации, выполнение запросов и обслуживание, а не только денежные расходы
• Рассчитайте точку безубыточности по объему, прежде чем предполагать, что дообучение сэкономит деньги
• Пройдите всю лестницу оптимизации промпта, прежде чем объявлять промптинг недостаточным
• Получайте знания поиском; оставляйте дообучение для устойчивого нежелательного поведения или сжатия промпта ради снижения задержки
• Оценивайте решение по совокупной стоимости владения за весь срок, включая вывод базовой модели из эксплуатации