Agentes que debaten y votan

La respuesta de un único modelo es una muestra de una distribución que incluye errores y exceso de confianza. Ejecutar varios agentes y agregar sus resultados —mediante votación o debate estructurado— aprovecha la independencia y el desacuerdo para detectar errores y converger hacia conclusiones más fiables.

• La votación suaviza los errores aleatorios independientes.
• El debate expone el razonamiento defectuoso al escrutinio.

La forma más sencilla de agregación: muestree varias rutas de razonamiento independientes para la misma pregunta y elija como respuesta final la opción mayoritaria. Las cadenas diversas suelen llegar a la misma respuesta correcta, mientras que los errores se dispersan; por eso la moda es más fiable que cualquier ruta individual.

Funciona mejor cuando el espacio de respuestas es discreto y las rutas son realmente independientes.

La votación solo ayuda si los errores son independientes. Si todos los agentes comparten el mismo modelo, prompt y temperatura, fallan juntos y la votación se limita a amplificar un error compartido. Introduzca diversidad: distintas temperaturas, diferentes formulaciones de prompts, descomposiciones distintas o modelos diferentes.

Los votantes correlacionados generan una confianza falsa: ese es el peligro del consenso sin independencia.

En un debate, los agentes producen respuestas iniciales, después leen el razonamiento de los demás y revisan sus respuestas a lo largo de varias rondas. La exposición a argumentos opuestos permite que los agentes detecten sus propios errores y abandonen posiciones débiles, y a menudo converjan en una respuesta mejor que cualquiera de las respuestas iniciales.

• Ronda 1: respuestas independientes.
• Ronda 2 y posteriores: criticar y revisar a partir de los argumentos de los pares.

El debate puede desembocar en un acuerdo por el motivo equivocado: los agentes ceden ante un par seguro de sí mismo en lugar de hacerlo ante un argumento mejor. Contrarreste esto indicando a los agentes que cambien de opinión solo por los méritos del argumento, que defiendan las posiciones correctas bajo presión y que expongan el argumento específico que les hizo cambiar de opinión.

El objetivo es un desacuerdo productivo; el consenso prematuro es un fracaso.

En lugar de esperar que los participantes del debate converjan, añada un juez neutral que lea las posiciones y los argumentos finales y emita una decisión justificada. El juez no participa en el debate ni tiene intereses en juego, lo que reduce la influencia de la voz más insistente.

Separar la defensa de la adjudicación es un patrón potente y auditable.

No todos los votos tienen el mismo valor. Los agentes pueden indicar una confianza calibrada, y usted puede ponderar la agregación en consecuencia o descartar los votos con baja confianza. Sea prudente: la confianza del modelo suele estar mal calibrada, así que valide que la ponderación realmente mejora la precisión antes de confiar en ella.

• Pondere por confianza solo si la confianza está calibrada.
• De lo contrario, la mayoría simple es más segura.

La agregación multiplica linealmente el coste según el número de agentes y rondas, pero las mejoras de precisión disminuyen. Las primeras muestras adicionales ayudan mucho; la décima rara vez lo hace. Ajuste la cantidad de forma empírica y deténgase cuando la precisión marginal deje de justificar el gasto marginal.

La detención adaptativa —detenerse pronto cuando el consenso es sólido— ahorra presupuesto en los elementos sencillos.

La votación es adecuada para tareas con una respuesta discreta clara y muestras independientes. El debate es adecuado para tareas en las que el razonamiento es el punto de fallo —pruebas con varios pasos o planes con defectos sutiles—, porque su valor reside en criticar la cadena de razonamiento, no en contabilizar las conclusiones.

Adapte el método al lugar donde se producen los errores: en la respuesta (votación) o en el razonamiento (debate).

Defina qué ocurre cuando los agentes no convergen: un empate en la votación o un debate bloqueado. Use un mecanismo determinista para desempatar (la decisión de un juez, la opción de menor riesgo o la escalación a una persona) en lugar de permitir que el sistema entre en un bucle o elija arbitrariamente.

• Limite el número de rondas de debate; ante un bloqueo, el juez decide o se escala el caso.
• Haga visible «sin consenso» como un resultado válido y accionable.

Para obtener un consenso fiable: garantice la independencia de los votantes mediante una diversidad real, elija la votación para respuestas discretas y el debate para tareas centradas en el razonamiento, evite la complacencia mediante revisiones basadas únicamente en los méritos, añada un juez neutral para la adjudicación, pondere por confianza solo cuando esté calibrada, deténgase de forma adaptativa para controlar los costes y defina un desempate determinista con escalación. El desacuerdo es el recurso; gestiónelo deliberadamente.

Agregar varios agentes mejora la fiabilidad al aprovechar la independencia y el desacuerdo. Use la votación por autoconsistencia para respuestas discretas y el debate multiagente para tareas centradas en el razonamiento, pero solo cuando los votantes sean realmente diversos: los agentes correlacionados amplifican los sesgos compartidos. Evite la complacencia mediante revisiones basadas únicamente en los méritos, añada un juez neutral para la adjudicación, pondere por confianza solo cuando esté calibrada, deténgase de forma adaptativa para controlar los costes y defina un desempate determinista con escalación.