Self-Consistency-Sampling

Eine einzelne Chain-of-Thought kann früh falsch abbiegen und sich danach nicht mehr erholen. Die Selbstkonsistenz (Wang et al., 2022) begegnet diesem Problem, indem sie viele unabhängige Reasoning-Pfade erzeugt und deren Endantworten zusammenfasst, typischerweise durch Mehrheitsentscheidung.

Die Intuition dahinter: Korrektes Reasoning führt über unterschiedliche Wege zur selben Antwort, während sich Fehler verstreuen. Die Aggregation verstärkt das konsistente Signal.

Selbstkonsistenz approximiert die Marginalisierung über Reasoning-Pfade: Statt einer einzigen latenten Herleitung zu vertrauen, schätzen Sie die wahrscheinlichste Endantwort, integriert über viele Herleitungen.

Dies ist eine Monte-Carlo-Schätzung der Antwortverteilung. Der Modus dieser Verteilung ist normalerweise zuverlässiger als jeder einzelne Stichprobenpfad, insbesondere wenn der Antwortbereich klein und diskret ist.

Selbstkonsistenz benötigt vielfältige Pfade. Greedy-Verfahren oder eine Temperatur nahe null erzeugen nahezu identische Ketten und machen die Methode wirkungslos. Verwenden Sie eine moderate Temperatur (häufig 0.5 bis 0.8) und gegebenenfalls Top-p-Sampling, um die Pfade stärker zu verteilen.

Eine zu hohe Temperatur verschlechtert jede einzelne Kette. Stimmen Sie die Temperatur so ab, dass die Genauigkeit des Ensembles maximiert wird, nicht die Qualität einer einzelnen Kette.

Stimmen zählen nur, wenn gleichwertige Antworten als gleich erkannt werden. Normalisieren Sie vor dem Zählen: Entfernen Sie Einheiten, kanonisieren Sie Zahlen, wandeln Sie Text in Kleinschreibung um, parsen Sie Brüche und Prozentangaben und wenden Sie aufgabenspezifische Gleichwertigkeitsregeln an.

Eine schlechte Normalisierung verteilt die tatsächliche Mehrheit auf verschiedene Oberflächenvarianten und lässt eine Minderheitsantwort die Abstimmung gewinnen.

Die Genauigkeit steigt mit der Anzahl der Stichproben n, allerdings mit abnehmendem Grenznutzen, und erreicht je nach Aufgabenschwierigkeit häufig bei 10 bis 40 ein Plateau. Jede Stichprobe erhöht Kosten und Latenz linear.

Testen Sie verschiedene Werte für n auf einem Validierungssatz und wählen Sie den Knickpunkt der Kurve, an dem zusätzliche Stichproben ihre Kosten nicht mehr rechtfertigen.

Sparen Sie Rechenaufwand durch adaptives Sampling: Beenden Sie die Erzeugung von Pfaden, sobald die Abstimmung eindeutig ist. Wenn eine Antwort nach 5 Stichproben deutlich führt, werden weitere Stichproben den Sieger wahrscheinlich nicht mehr ändern.

So konzentrieren Sie den Rechenaufwand auf tatsächlich schwierige, umstrittene Aufgaben und beantworten einfache Aufgaben kostengünstig.

Bei einer einfachen Mehrheitsentscheidung werden alle Pfade gleich behandelt. Sie können Stimmen nach der vom Modell zugewiesenen Wahrscheinlichkeit eines Pfads, nach dem Score eines trainierten Verifiers oder anhand einer Selbsteinschätzung der Gültigkeit jeder Kette gewichten.

Verifiergewichtete Selbstkonsistenz ist bei der Abstimmung ohne Gewichtung häufig überlegen, weil sie selbstsichere, aber falsche und häufige Fehlermuster abwertet.

Der Stimmenabstand ist ein nützliches Konfidenzsignal. Eine einstimmige Antwort ist wesentlich vertrauenswürdiger als eine Aufteilung von 6 zu 5. Stellen Sie dieses Signal nachgelagerter Logik zur Verfügung: Leiten Sie Aufgaben mit geringer Übereinstimmung an eine Eskalationsstufe, eine menschliche Prüfung oder ein stärkeres Modell weiter.

So wird Selbstkonsistenz sowohl zu einer Methode zur Genauigkeitssteigerung als auch zu einem Kalibrierungsmechanismus.

Mehrheitsentscheidungen setzen einen diskreten, vergleichbaren Antwortbereich voraus. Sie lassen sich nicht direkt auf freie Textgenerierung, lange Texte oder kontinuierliche Ausgaben anwenden, bei denen keine zwei Stichproben identisch sind.

Aggregieren Sie für solche Aufgaben anders: Clustern Sie semantisch ähnliche Ausgaben, stimmen Sie über extrahierte strukturierte Felder ab oder verwenden Sie ein Judge-Modell, um die beste Stichprobe auszuwählen, statt exakte Übereinstimmungen zu zählen.

Selbstkonsistenz gehört zu den teuersten Prompting-Techniken: Die Kosten steigen mit n. Reservieren Sie sie für wichtige oder schwierige Aufgaben, kombinieren Sie sie mit adaptivem Beenden und erwägen Sie eine abgestufte Strategie, bei der eine einzelne Kette einfache Anfragen bearbeitet.

Vergleichen Sie immer die Genauigkeit pro Euro mit einem einzelnen Aufruf eines stärkeren Modells, der für denselben Zugewinn möglicherweise günstiger ist.

Eine vollständige Pipeline: Stimmen Sie Temperatur und n ab, erzeugen Sie vielfältige Ketten, normalisieren Sie Antworten rigoros, führen Sie eine Abstimmung durch (optional verifiergewichtet), verwenden Sie den Stimmenabstand als Konfidenzmaß, beenden Sie die Verarbeitung frühzeitig, sobald das Ergebnis eindeutig ist, und eskalieren Sie Aufgaben mit geringer Übereinstimmung.

Das Ergebnis ist ein Reasoning-System, das genauer und besser selbstkalibriert ist als jede einzelne Kette.

Diagnostizieren Sie eine Selbstkonsistenz-Konfiguration, die schlechter als erwartet abschneidet.

Wichtigste Erkenntnisse:

• Selbstkonsistenz erzeugt viele vielfältige Ketten und stimmt über deren Ergebnisse ab, wodurch die Marginalisierung über Reasoning-Pfade approximiert wird.
• Vielfalt (moderate Temperatur) und rigorose Antwortnormalisierung sind Voraussetzungen für das Funktionieren der Methode.
• Die Genauigkeit steigt mit n, erreicht aber ein Plateau. Verwenden Sie adaptives frühzeitiges Beenden, um die Kosten zu kontrollieren.
• Gewichten Sie Stimmen mit einem Verifier und verwenden Sie den Stimmenabstand als kalibriertes Konfidenzsignal.
• Die Methode benötigt einen diskreten Antwortbereich. Clustern Sie bei offenen Aufgaben semantisch ähnliche Antworten oder verwenden Sie ein Judge-Modell.