Агенты, ведущие дебаты и голосование

Ответ одной модели — это один образец из распределения, включающего ошибки и чрезмерную уверенность. Запуск нескольких агентов и объединение их результатов — голосованием или структурированными дебатами — использует независимость и расхождения, помогая выявлять ошибки и приходить к более надёжным выводам.

• Голосование сглаживает независимые случайные ошибки.
• Дебаты подвергают ошибочные рассуждения проверке.

Самый простой способ объединения результатов: получить несколько независимых ходов рассуждения для одного вопроса и выбрать окончательный answer большинством голосов. Разнообразные цепочки часто приходят к одному и тому же правильному ответу, тогда как ошибки распределяются случайно, поэтому мода надёжнее любого отдельного хода рассуждения.

Лучше всего работает, когда пространство answer дискретно, а ходы рассуждения действительно независимы.

Голосование помогает только тогда, когда ошибки независимы. Если все агенты используют одну и ту же модель, инструкцию и смещение, они терпят неудачу одновременно, и голосование лишь усиливает общую ошибку. Внесите разнообразие: используйте разные температуры, формулировки инструкций, способы разбиения задачи или модели.

Коррелированные участники голосования создают ложную уверенность — такова опасность консенсуса без независимости.

В дебатах агенты создают первоначальные ответы, затем читают рассуждения друг друга и выполняют revise в нескольких раундах. Знакомство с противоположными аргументами позволяет агентам обнаруживать собственные ошибки и отказываться от слабых позиций, часто приходя к лучшему answer, чем тот, с которого всё началось.

• Раунд 1: независимые ответы.
• Раунд 2 и далее: критика и revise с учётом аргументов коллег.

Дебаты могут свестись к согласию по неправильной причине: агенты уступают уверенно говорящему коллеге, а не более убедительному аргументу. Противодействуйте этому, инструктируя агентов менять мнение только под влиянием достоинств аргумента, отстаивать правильные позиции под давлением и указывать конкретный аргумент, который их убедил.

Цель — продуктивное несогласие; преждевременный консенсус означает неудачу.

Вместо того чтобы надеяться на схождение мнений участников дебатов, выполните add нейтрального судьи, который прочитает итоговые позиции и аргументы и вынесет обоснованное решение. Судья не участвует в дебатах и не заинтересован в исходе, что уменьшает влияние самого громкого голоса.

Разделение защиты позиции и вынесения решения — мощный и проверяемый шаблон.

Не все голоса равны. Агенты могут сообщать откалиброванную уверенность, и тогда вы можете соответствующим образом взвешивать общий результат или отбрасывать голоса с низкой уверенностью. Будьте осторожны: уверенность модели часто плохо откалибрована, поэтому сначала проверьте, действительно ли взвешивание повышает точность, и только потом полагайтесь на него.

• Взвешивайте по уверенности, только если она откалибрована.
• В противном случае безопаснее использовать простое большинство.

Объединение результатов линейно увеличивает затраты с ростом числа агентов и раундов, однако прирост точности уменьшается. Первые несколько дополнительных образцов очень полезны, а десятый редко даёт заметный эффект. Подберите количество опытным путём и остановитесь там, где предельный прирост точности уже не оправдывает предельные расходы.

Остановка adaptive — прекращение работы на раннем этапе при сильном консенсусе — экономит бюджет на простых элементах.

Голосование подходит для задач с ясным дискретным answer и независимыми образцами. Дебаты подходят для задач, где рассуждение является источником ошибок — например, для многошаговых доказательств и планов с незаметными недостатками, — потому что ценность заключается в критике цепочки, а не в подсчёте выводов.

Соотносите метод с местом возникновения ошибок: в answer (голосование) или в рассуждении (дебаты).

Определите, что происходит, когда агенты не приходят к согласию: возникает ничья при голосовании или тупик в дебатах. Используйте детерминированное правило разрешения (решение судьи, вариант с наименьшим риском или передача вопроса человеку), а не позволяйте системе зациклиться или сделать произвольный выбор.

• Ограничьте число раундов дебатов; при тупике пусть решение принимает судья или выполняется эскалация.
• Представляйте «нет консенсуса» как допустимый результат, требующий действия.

Для надёжного консенсуса обеспечьте независимость участников голосования за счёт реального разнообразия, выбирайте голосование для дискретных ответов, а дебаты — для задач, требующих интенсивных рассуждений, противодействуйте подхалимству с помощью revise только по существу аргумента, выполните add нейтрального судьи для вынесения решения, взвешивайте по уверенности только при наличии калибровки, применяйте остановку adaptive для контроля затрат и определите детерминированное разрешение ничьих с эскалацией. Несогласие — это ресурс; управляйте им осознанно.

Объединение результатов нескольких агентов повышает надёжность, используя независимость и расхождения. Применяйте голосование на основе самосогласованности для дискретных ответов, а дебаты между несколькими агентами — для задач, требующих интенсивных рассуждений, но только при действительно разнообразных участниках: коррелированные агенты усиливают общие смещения. Противодействуйте подхалимству с помощью revise только по существу аргумента, добавьте нейтрального судью для вынесения решения, взвешивайте по уверенности только при наличии калибровки, применяйте остановку adaptive для контроля затрат и определите детерминированное разрешение ничьих с эскалацией.