Agenti che discutono e votano

La risposta di un singolo modello è un campione di una distribuzione che include errori ed eccessiva sicurezza. Eseguire più agenti e aggregare i risultati — tramite voto o dibattito strutturato — sfrutta l'indipendenza e il disaccordo per far emergere gli errori e convergere verso conclusioni più affidabili.

• Il voto attenua gli errori casuali indipendenti.
• Il dibattito espone il ragionamento errato al controllo.

La forma più semplice di aggregazione: campioni diversi percorsi di ragionamento indipendenti per la stessa domanda e scegli la risposta finale a maggioranza. Catene diverse arrivano spesso alla stessa risposta corretta, mentre gli errori si distribuiscono; perciò la moda è più affidabile di un singolo percorso.

Funziona meglio quando lo spazio delle risposte è discreto e i percorsi sono realmente indipendenti.

Il voto è utile solo se gli errori sono indipendenti. Se tutti gli agenti condividono lo stesso modello, prompt e bias, falliscono insieme e il voto si limita ad amplificare un errore condiviso. Introduca diversità: temperature diverse, formulazioni diverse dei prompt, scomposizioni diverse o modelli diversi.

Votanti correlati producono una falsa sicurezza: il pericolo del consenso senza indipendenza.

Nel dibattito, gli agenti producono risposte iniziali, poi leggono il ragionamento degli altri e lo rivedono attraverso più turni. L'esposizione alle argomentazioni opposte consente agli agenti di individuare i propri errori e abbandonare posizioni deboli, spesso convergendo verso una risposta migliore di tutte quelle iniziali.

• Turno 1: risposte indipendenti.
• Turno 2+: critica e revisione alla luce delle argomentazioni degli altri agenti.

Il dibattito può degenerare in un accordo motivato dalla ragione sbagliata: gli agenti cedono a un interlocutore sicuro di sé invece di seguire l'argomentazione migliore. Lo contrasti istruendo gli agenti a cambiare idea solo in base ai meriti dell'argomentazione, a difendere le posizioni corrette sotto pressione e a dichiarare quale argomentazione specifica li ha convinti.

Il disaccordo produttivo è l'obiettivo; il consenso prematuro è un fallimento.

Anziché sperare che i partecipanti al dibattito convergano, aggiunga un giudice neutrale che legga le posizioni e le argomentazioni finali e pronunci una decisione motivata. Il giudice non partecipa al dibattito e non ha interessi in gioco, riducendo così l'influenza della voce più insistente.

Separare la difesa delle posizioni dalla decisione è un modello potente e verificabile.

Non tutti i voti hanno lo stesso peso. Gli agenti possono riferire un livello di confidenza calibrato e si può ponderare di conseguenza l'aggregato, oppure scartare i voti con bassa confidenza. Faccia attenzione: la confidenza del modello è spesso scarsamente calibrata, quindi verifichi che la ponderazione migliori effettivamente l'accuratezza prima di farvi affidamento.

• Ponderi in base alla confidenza solo se questa è calibrata.
• In caso contrario, la maggioranza semplice è più sicura.

L'aggregazione moltiplica linearmente il costo in base al numero di agenti e di turni, ma i miglioramenti dell'accuratezza diminuiscono. I primi campioni aggiuntivi sono molto utili; il decimo raramente lo è. Regoli il numero empiricamente e si fermi quando l'accuratezza marginale non giustifica più la spesa marginale.

L'arresto adattivo — interrompere presto quando il consenso è forte — consente di risparmiare budget sugli elementi semplici.

Il voto è adatto alle attività con una risposta discreta e chiara e con campioni indipendenti. Il dibattito è adatto alle attività in cui il punto critico è il ragionamento — dimostrazioni in più passaggi, piani con difetti sottili — perché il valore sta nella critica della catena di ragionamento, non nel conteggio delle conclusioni.

Abbini il metodo al punto in cui si verificano gli errori: nella risposta (voto) o nel ragionamento (dibattito).

Definisca cosa accade quando gli agenti non convergono: una parità nei voti o un dibattito in stallo. Predisponga uno spareggio deterministico (decisione del giudice, opzione a rischio minimo o escalation a una persona) invece di lasciare che il sistema entri in loop o scelga arbitrariamente.

• Limiti il numero di turni del dibattito; in caso di stallo, lasci decidere al giudice o avvii un'escalation.
• Renda «nessun consenso» un risultato valido e azionabile.

Per un consenso affidabile: garantisca l'indipendenza dei votanti attraverso una reale diversità, scelga il voto per le risposte discrete e il dibattito per le attività incentrate sul ragionamento, contrasti la compiacenza imponendo revisioni basate esclusivamente sui meriti, aggiunga un giudice neutrale per la decisione, ponderi in base alla confidenza solo quando è calibrata, interrompa in modo adattivo per controllare i costi e definisca uno spareggio deterministico con escalation. Il disaccordo è una risorsa: lo gestisca deliberatamente.

Esegue sette agenti che utilizzano tutti lo stesso modello, prompt e temperature, poi vota a maggioranza le loro risposte aspettandosi una maggiore affidabilità.

L'aggregazione di più agenti migliora l'affidabilità sfruttando l'indipendenza e il disaccordo. Utilizzi il voto per autoconsistenza per le risposte discrete e il dibattito multi-agente per le attività incentrate sul ragionamento, ma solo quando i votanti sono realmente diversi: gli agenti correlati amplificano i bias condivisi. Contrasti la compiacenza imponendo revisioni basate esclusivamente sui meriti, aggiunga un giudice neutrale per la decisione, ponderi in base alla confidenza solo quando è calibrata, interrompa in modo adattivo per controllare i costi e definisca uno spareggio deterministico con escalation.