Debattierende und abstimmende Agenten

Die Antwort eines einzelnen Modells ist eine Stichprobe aus einer Verteilung, die auch Fehler und übermäßige Zuversicht umfasst. Wenn Sie mehrere Agents ausführen und ihre Ergebnisse aggregieren — durch Abstimmung oder strukturierte Debatte — nutzen Sie Unabhängigkeit und Uneinigkeit, um Fehler aufzudecken und zu zuverlässigeren Schlussfolgerungen zu gelangen.

• Abstimmungen gleichen unabhängige zufällige Fehler aus.
• Debatten machen fehlerhafte Schlussfolgerungen einer Prüfung zugänglich.

Die einfachste Form der Aggregation: Erzeugen Sie mehrere unabhängige Denkpfade für dieselbe Frage und wählen Sie die mehrheitliche endgültige Antwort. Vielfältige Gedankengänge führen häufig zur selben richtigen Antwort, während sich Fehler verteilen; dadurch ist der Modalwert zuverlässiger als jeder einzelne Pfad.

Das funktioniert am besten, wenn der Antwortenraum diskret ist und die Pfade tatsächlich unabhängig sind.

Abstimmungen helfen nur, wenn Fehler unabhängig sind. Wenn alle Agents dasselbe Modell, denselben Prompt und dieselbe Verzerrung verwenden, scheitern sie gemeinsam, und die Abstimmung verstärkt lediglich den gemeinsamen Fehler. Sorgen Sie für Vielfalt: unterschiedliche Temperaturen, unterschiedliche Prompt-Formulierungen, unterschiedliche Zerlegungen oder unterschiedliche Modelle.

Korrellierte Abstimmende erzeugen falsche Sicherheit — die Gefahr eines Konsenses ohne Unabhängigkeit.

Bei einer Debatte erzeugen Agents zunächst eigene Antworten, lesen dann die Begründungen der jeweils anderen und überarbeiten ihre Antworten über mehrere Runden hinweg. Die Auseinandersetzung mit Gegenargumenten ermöglicht es Agents, eigene Fehler zu erkennen und schwache Positionen aufzugeben. So gelangen sie häufig zu einer besseren Antwort, als es jede ursprüngliche Antwort war.

• Runde 1: unabhängige Antworten.
• Ab Runde 2: Kritik und Überarbeitung auf Grundlage der Argumente der anderen.

Eine Debatte kann aus dem falschen Grund in Zustimmung umschlagen: Agents geben gegenüber einem selbstsicheren Peer nach, statt sich von einem besseren Argument überzeugen zu lassen. Wirken Sie dem entgegen, indem Sie Agents anweisen, ihre Meinung nur aufgrund der sachlichen Qualität zu ändern, korrekte Positionen auch unter Druck zu verteidigen und das konkrete Argument zu benennen, das sie umgestimmt hat.

Das Ziel ist produktive Uneinigkeit; ein vorschneller Konsens ist ein Fehlschlag.

Statt darauf zu hoffen, dass die Debattierenden zu einer Einigung gelangen, fügen Sie einen neutralen Judge hinzu, der die endgültigen Positionen und Argumente liest und eine begründete Entscheidung trifft. Der Judge debattiert nicht und hat kein eigenes Interesse, wodurch der Einfluss der lautesten Stimme abnimmt.

Die Trennung von Interessenvertretung und Entscheidungsfindung ist ein leistungsfähiges, auditierbares Muster.

Nicht alle Stimmen sind gleichwertig. Agents können eine kalibrierte Konfidenz angeben, und Sie können die Aggregation entsprechend gewichten — oder Stimmen mit geringer Konfidenz verwerfen. Seien Sie vorsichtig: Die Konfidenz eines Modells ist häufig schlecht kalibriert. Überprüfen Sie daher, ob eine Gewichtung die Genauigkeit tatsächlich verbessert, bevor Sie ihr vertrauen.

• Gewichten Sie nach Konfidenz nur, wenn diese kalibriert ist.
• Andernfalls ist eine einfache Mehrheit sicherer.

Aggregation vervielfacht die Kosten linear mit der Anzahl der Agents und Runden, während der Genauigkeitsgewinn abnimmt. Die ersten zusätzlichen Stichproben sind sehr hilfreich; die zehnte ist es nur selten. Stimmen Sie die Anzahl empirisch ab und beenden Sie die Aggregation, sobald die zusätzliche Genauigkeit die zusätzlichen Kosten nicht mehr rechtfertigt.

Adaptives Beenden — bei starkem Konsens frühzeitig aufhören — spart bei einfachen Aufgaben Budget.

Abstimmungen eignen sich für Aufgaben mit einer klaren diskreten Antwort und unabhängigen Stichproben. Debatten eignen sich für Aufgaben, bei denen das Schlussfolgern die Fehlerquelle ist — etwa Beweise mit mehreren Schritten oder Pläne mit subtilen Schwächen —, weil der Wert in der Kritik der Argumentationskette liegt und nicht im Zählen von Schlussfolgerungen.

Richten Sie die Methode danach aus, wo die Fehler liegen: in der Antwort (Abstimmung) oder im Schlussfolgern (Debatte).

Definieren Sie, was geschieht, wenn Agents keine Einigung erzielen: ein Gleichstand bei der Abstimmung oder eine festgefahrene Debatte. Legen Sie einen deterministischen Gleichstandsentscheider fest (Entscheidung durch einen Judge, die Option mit dem geringsten Risiko oder Eskalation an einen Menschen), statt das System in einer Schleife laufen oder willkürlich wählen zu lassen.

• Begrenzen Sie die Anzahl der Debattenrunden; bei einer Blockade entscheidet der Judge oder es erfolgt eine Eskalation.
• Machen Sie „kein Konsens“ zu einem gültigen, handlungsrelevanten Ergebnis.

Für zuverlässigen Konsens müssen Sie die Unabhängigkeit der Abstimmenden durch echte Vielfalt sicherstellen, Abstimmungen für diskrete Antworten und Debatten für aufwändige Schlussfolgerungen wählen, Sykophanz durch Überarbeitung ausschließlich nach sachlicher Qualität verhindern, einen neutralen Judge zur Entscheidungsfindung einsetzen, nur bei kalibrierter Konfidenz gewichten, adaptiv beenden, um Kosten zu kontrollieren, und deterministische Regeln für Gleichstände mit Eskalation festlegen. Uneinigkeit ist die Ressource; verwalten Sie sie bewusst.

Sie führen sieben Agents aus, die alle dasselbe Modell, denselben Prompt und dieselbe Temperatur verwenden, und stimmen dann mehrheitlich über ihre Antworten ab, in der Erwartung einer höheren Zuverlässigkeit.

Die Aggregation mehrerer Agents verbessert die Zuverlässigkeit, indem sie Unabhängigkeit und Uneinigkeit nutzt. Verwenden Sie Abstimmungen durch Selbstkonsistenz für diskrete Antworten und Multi-Agenten-Debatten für Aufgaben mit aufwändigem Schlussfolgern, aber nur, wenn die Abstimmenden tatsächlich vielfältig sind — korrelierte Agents verstärken gemeinsame Verzerrungen. Wirken Sie Sykophanz durch Überarbeitung ausschließlich nach sachlicher Qualität entgegen, fügen Sie einen neutralen Judge zur Entscheidungsfindung hinzu, gewichten Sie nur bei kalibrierter Konfidenz, beenden Sie adaptiv zur Kostenkontrolle und legen Sie deterministische Regeln für Gleichstände mit Eskalation fest.