Подсказки с рассуждением по шагам

Цепочка рассуждений (CoT) в промпте побуждает модель сформулировать промежуточные шаги рассуждения перед финальным ответом. Ключевая идея такова: трансформеры выполняют фиксированный объём вычислений для каждого токена, поэтому возможность генерировать токены рассуждений фактически предоставляет модели больше последовательных вычислений для получения ответа.

Требование немедленно дать ответ ограничивает доступный для сложной задачи объём вычислений; CoT снимает это ограничение, распределяя вычисления между генерируемыми токенами.

Известная фраза-триггер «Давайте подумаем шаг за шагом» (Kojima и др., 2022) побуждает модель рассуждать, используя без примеров. Это работает, поскольку модели, дообученные следовать инструкциям, усвоили закономерность: такая фраза обычно предшествует решению с объяснением.

CoT без примеров дёшев и удивительно эффективен, но качество его рассуждений контролируется хуже, чем качество CoT по нескольким примерам с тщательно подобранными образцами.

CoT по нескольким примерам (Wei и др., 2022) предоставляет образцы, включающие цепочку рассуждений, а не только ответ. Это обучает и тому, как рассуждать, и нужному формату, благодаря чему цепочки становятся надёжнее и последовательнее, чем при использовании варианта без примеров.

Подбирайте образцы, стиль, детализация и длина рассуждений в которых соответствуют тому, что Вы хотите воспроизводить. Непоследовательные рассуждения в образцах приводят к непоследовательным цепочкам.

Всегда делайте финальный ответ пригодным для автоматического извлечения: завершайте цепочку фиксированным маркером, например «Ответ: X» или полем JSON. Разбор цепочек в свободной форме ненадёжен.

В продуктах, ориентированных на пользователей, можно скрывать цепочку и показывать только разобранный ответ, сохраняя рассуждения во внутренней рабочей области.

Важно учитывать: словесно изложенная цепочка может не отражать настоящие вычисления модели. Исследования показывают, что модели могут выдавать правдоподобные рассуждения, которые задним числом рационализируют ответ, обусловленный скрытыми смещениями, например положением варианта ответа.

Не считайте CoT достоверным объяснением или журналом аудита. Он повышает точность во многих задачах, но не показывает фактический механизм работы модели.

Для одной детерминированной цепочки низкая температура уменьшает разброс результатов. Однако CoT особенно хорошо сочетается с выборкой: при умеренной температуре можно получить несколько разнообразных цепочек и объединить их результаты, что рассматривается в разделе о самосогласованности.

Не используйте жадное декодирование, если намерены выбирать несколько путей: жадный метод устраняет разнообразие и делает объединение результатов бессмысленным.

Для сложных задач задавайте структуру цепочки: нумерованные шаги, таблицу состояний или разделение на этап планирования и этап выполнения. Структура уменьшает число пропущенных шагов и делает промежуточное состояние проверяемым.

Подходы с поддержкой программ идут дальше: они выдают исполняемый код в качестве рассуждения и передают арифметические вычисления интерпретатору, устраняя целый класс вычислительных ошибок.

CoT увеличивает число выходных токенов, повышая стоимость и задержку. Для простых элементов эти затраты ничего не дают, а для сложных задач необходимы. Практичный подход — adaptive-рассуждение: запускайте CoT только тогда, когда недорогая оценка сложности или ответ с низкой уверенностью напрямую этого требуют.

В моделях рассуждений со встроенным обдумыванием вместо этого управляйте бюджетом усилий на рассуждение, а не задавайте цепочку самостоятельно.

Современные модели рассуждений автоматически выполняют длительное внутреннее обдумывание. Перегружать их подробными инструкциями «Давайте подумаем шаг за шагом» может быть избыточно или даже контрпродуктивно, поскольку это мешает обученному процессу мышления.

Для таких моделей отдавайте предпочтение кратким формулировкам задач и явным требованиям к формату ответа, а параметр усилий на рассуждение настраивайте вместо ручного составления цепочек.

CoT может ухудшать результаты в задачах, где обдумывание подавляет правильную интуицию, при простом сопоставлении с образцом или когда формулирование рассуждений порождает ошибки, которых модель не допустила бы при неявном рассуждении. Кроме того, длинные цепочки увеличивают поверхность атаки для внедрения инструкций в запрос.

Сравнивайте CoT с прямым ответом для каждой задачи; никогда не предполагайте, что запросы на рассуждение полезны всегда.

Применение CoT в эксплуатации: подбирайте согласованные примеры (или полагайтесь на встроенное рассуждение модели), требуйте пригодный для разбора маркер answer, создавайте несколько цепочек для сложных элементов, по возможности проверяйте арифметику выполнением кода и включайте рассуждение только с учётом оценки сложности, чтобы контролировать затраты.

Записывайте цепочки для автономного анализа, но никогда не выдавайте их за эталонные объяснения.

Рассмотрите, почему CoT помогает и в каких случаях — нет.

Главные выводы:

• CoT обменивает дополнительные токены на дополнительные последовательные вычисления; он помогает в многошаговых задачах, но не в тривиальных.
• CoT без примеров использует фразу-триггер; CoT с несколькими примерами предоставляет согласованные примеры рассуждений.
• Всегда завершайте рассуждение пригодным для машинного извлечения маркером ответа; цепочки не являются достоверными объяснениями.
• Создавайте несколько цепочек для сложных элементов, поручайте арифметику коду и включайте CoT только с учётом сложности.
• Для моделей со встроенным рассуждением предпочитайте краткие запросы и бюджет усилий на рассуждение вместо подробных инструкций по построению цепочки.