Agenci debatujący i głosujący

Odpowiedź pojedynczego modelu jest jedną próbką z rozkładu obejmującego błędy i nadmierną pewność siebie. Uruchamianie wielu agentów i ich agregowanie — za pomocą głosowania lub ustrukturyzowanej debaty — wykorzystuje niezależność i rozbieżności, aby ujawniać błędy oraz zbliżać się do bardziej wiarygodnych wniosków.

• Głosowanie wygładza niezależne błędy losowe.
• Debata wystawia błędne rozumowanie na krytyczną ocenę.

Najprostsza forma agregacji: wylosuj kilka niezależnych ścieżek rozumowania dla tego samego pytania i wybierz większościową odpowiedź końcową. Różnorodne łańcuchy często prowadzą do tej samej poprawnej odpowiedzi, podczas gdy błędy się rozpraszają, więc moda jest wiarygodniejsza niż dowolna pojedyncza ścieżka.

Metoda działa najlepiej, gdy przestrzeń odpowiedzi jest dyskretna, a ścieżki są rzeczywiście niezależne.

Głosowanie pomaga tylko wtedy, gdy błędy są niezależne. Jeśli wszyscy agenci korzystają z tego samego modelu, promptu i parametru temperature, poniosą porażkę razem, a głosowanie jedynie wzmocni wspólny błąd. Wprowadź różnorodność: różne wartości temperature, różne ujęcia promptu, różne sposoby dekompozycji lub różne modele.

Skorelowani głosujący dają fałszywą pewność — to zagrożenie wynikające z konsensusu bez niezależności.

W debacie agenci tworzą początkowe odpowiedzi, a następnie czytają rozumowanie innych agentów i aktualizują swoje stanowiska w kolejnych rundach. Zapoznanie się z przeciwnymi argumentami pozwala agentom dostrzec własne błędy i porzucić słabe stanowiska, często prowadząc do lepszej odpowiedzi niż ta, od której zaczynał którykolwiek z nich.

• Runda 1: niezależne odpowiedzi.
• Runda 2+: krytyka i aktualizacja odpowiedzi na podstawie argumentów innych agentów.

Debata może przerodzić się w zgodę z niewłaściwego powodu: agenci ustępują pewnemu siebie rozmówcy zamiast przekonać się do lepszego argumentu. Przeciwdziałaj temu, instruując agentów, aby zmieniali zdanie wyłącznie na podstawie merytorycznych przesłanek, bronili poprawnych stanowisk pod presją oraz wskazywali konkretny argument, który ich przekonał.

Celem jest produktywna różnica zdań; przedwczesny konsensus oznacza porażkę.

Zamiast liczyć na zbieżność stanowisk uczestników debaty, dodaj neutralnego sędziego, który zapozna się z końcowymi stanowiskami i argumentami, a następnie wyda uzasadnioną decyzję. Sędzia nie uczestniczy w debacie i nie ma w niej własnego interesu, co ogranicza wpływ najgłośniejszego głosu.

Oddzielenie argumentacji od rozstrzygania to potężny i audytowalny wzorzec.

Nie wszystkie głosy mają taką samą wartość. Agenci mogą raportować skalibrowaną pewność siebie, a następnie można odpowiednio ważyć agregat — albo odrzucać głosy o niskiej pewności. Zachowaj ostrożność: pewność modelu jest często słabo skalibrowana, dlatego przed zaufaniem ważeniu sprawdź, czy rzeczywiście poprawia ono trafność.

• Waż głosy według pewności tylko wtedy, gdy pewność jest skalibrowana.
• W przeciwnym razie bezpieczniejsza jest zwykła większość.

Agregacja zwiększa koszty liniowo wraz z liczbą agentów i rund, ale przyrosty trafności maleją. Pierwsze kilka dodatkowych próbek bardzo pomaga; dziesiąta zazwyczaj już nie. Dobierz liczbę empirycznie i zatrzymaj się w miejscu, w którym krańcowy wzrost trafności nie uzasadnia już krańcowego wydatku.

Adaptacyjne zatrzymywanie — wcześniejsze zakończenie przy silnym konsensusie — oszczędza budżet w przypadku łatwych elementów.

Głosowanie pasuje do zadań z jednoznaczną, dyskretną odpowiedzią i niezależnymi próbkami. Debata pasuje do zadań, w których punktem awarii jest rozumowanie — wieloetapowych dowodów lub planów z subtelnymi błędami — ponieważ wartość polega na krytycznej ocenie łańcucha rozumowania, a nie na zliczaniu wniosków.

Dopasuj metodę do miejsca występowania błędów: w odpowiedzi (głosowanie) lub w rozumowaniu (debata).

Określ, co dzieje się, gdy agenci nie osiągną zbieżności: przy remisie głosów lub impasie w debacie. Zastosuj deterministyczny mechanizm rozstrzygający (decyzję sędziego, opcję o najmniejszym ryzyku lub eskalację do człowieka), zamiast pozwalać systemowi zapętlać się albo wybierać arbitralnie.

• Ogranicz liczbę rund debaty; w przypadku impasu niech zdecyduje sędzia albo nastąpi eskalacja.
• Ujawniaj „brak konsensusu” jako prawidłowy i możliwy do obsłużenia wynik.

Aby uzyskać wiarygodny konsensus: zapewnij niezależność głosujących dzięki rzeczywistej różnorodności, wybieraj głosowanie dla odpowiedzi dyskretnych, a debatę dla zadań wymagających intensywnego rozumowania, przeciwdziałaj konformizmowi, wymagając zmian wyłącznie na podstawie merytorycznych przesłanek, dodaj neutralnego sędziego do rozstrzygania, waż głosy według pewności tylko wtedy, gdy jest ona skalibrowana, zatrzymuj proces adaptacyjnie, aby kontrolować koszty, oraz zdefiniuj deterministyczne rozstrzyganie remisów z eskalacją. Rozbieżność jest zasobem — zarządzaj nią świadomie.

Uruchamia Pan/Pani siedmiu agentów korzystających z identycznego modelu, promptu i parametru temperature, a następnie wybiera większościową odpowiedź, oczekując większej wiarygodności.

Agregowanie wielu agentów zwiększa wiarygodność dzięki wykorzystaniu niezależności i rozbieżności. Stosuj głosowanie oparte na self-consistency dla odpowiedzi dyskretnych, a debatę wieloagentową dla zadań wymagających intensywnego rozumowania, ale tylko wtedy, gdy głosujący są rzeczywiście różnorodni — skorelowani agenci wzmacniają wspólne uprzedzenia. Przeciwdziałaj konformizmowi, wymagając zmian wyłącznie na podstawie merytorycznych przesłanek, dodaj neutralnego sędziego do rozstrzygania, waż głosy według pewności tylko wtedy, gdy jest ona skalibrowana, zatrzymuj proces adaptacyjnie, aby kontrolować koszty, oraz zdefiniuj deterministyczne rozstrzyganie remisów z eskalacją.