Validierung durch Selbstkritik

Selbstkritik verwendet ein LLM, um die Ausgabe eines LLM anhand einer Bewertungsrubrik oder Richtlinie zu beurteilen. Sie erkennt nuancierte Fehler, die sich mit deterministischen Validatoren nicht abbilden lassen: faktische Widersprüche, Tonalität, Hilfreichkeit und subtile Richtlinienverstöße.

Sie ist die modellbasierte Ergänzung zu Schema- und Regelvalidatoren.

Führen Sie die Kritik als separaten Aufruf mit einem eigenen Prompt aus, nicht als abschließende Anweisung in der Generierung. Ein Kritiker mit sauberem Kontext, der nur beurteilen soll, ist deutlich zuverlässiger, als den Autor während der Generierung zur Selbstbewertung aufzufordern, da er dabei zu seinem eigenen Ergebnis voreingenommen ist.

Lassen Sie den Kritiker strukturierte Urteile ausgeben, damit die Pipeline programmgesteuert handeln kann. Eine Freitextkritik ist nicht maschinenverwertbar.

Kombinieren Sie den Kritiker mit einem Überarbeiter. Der Kritiker findet Probleme, der Autor überarbeitet die Ausgabe anhand der Kritik; wiederholen Sie dies, bis die Prüfung bestanden ist oder das Budget erschöpft ist. Dies ist die modellbasierte Entsprechung der Reparaturschleife.

Eine vage Anweisung („Ist das gut?“) führt zu uneinheitlichen Urteilen. Eine konkrete Bewertungsrubrik mit expliziten, überprüfbaren Kriterien liefert konsistente Ergebnisse. Unterteilen Sie sie in Ja/Nein-Fragen, die der Kritiker einzeln beantwortet.

Geben Sie dem Kritiker zur Erkennung von Halluzinationen den Quellkontext und fordern Sie ihn auf, jede Behauptung zu kennzeichnen, die sich daraus nicht ableiten lässt. Dadurch wird Selbstkritik zu einer Folgerungsprüfung, die deutlich zuverlässiger ist, als ohne Belege zu fragen: „Ist das wahr?“

Der Kritiker ist selbst ein LLM und kann Fehler machen:

• Anbiederung — unkritisches Abnicken der Antwort des Autors.
• Überkritik — Kennzeichnen korrekter Ausgaben als fehlerhaft.
• Geteilte blinde Flecken — dasselbe Modell übersieht dieselben Fehler.

Mildern Sie dies durch eine andere Modellfamilie als Kritiker, eine strenge Prüferrolle und kalibrierte Schwellenwerte.

Der Kritiker muss nicht das teuerste Modell sein. Oft ist ein kleineres Modell mit einer strengen Bewertungsrubrik ein kostengünstiges Prüfventil, und die Verwendung einer anderen Modellfamilie verringert korrelierte blinde Flecken. Verwenden Sie das leistungsstärkste Modell für die Erstellung.

Selbstkritik verringert Fehler, ist aber kein Beweis. Für Inhalte mit geringem Risiko genügt ein einziger Kritikdurchlauf. Für Ausgaben mit hohem Risiko kombinieren Sie Selbstkritik mit deterministischen Validatoren und menschlicher Prüfung; lassen Sie ein Modell niemals allein über sicherheitskritische Entscheidungen befinden.

Selbstkritik verdoppelt ungefähr die Anzahl der Aufrufe pro Anfrage. Begrenzen Sie sie: Schalten Sie die Kritik hinter deterministischen Prüfungen ein (kritisieren Sie nur Ausgaben, die Schema und Regeln bestanden haben), speichern Sie Kritiken für identische Entwürfe im Cache und begrenzen Sie die Anzahl der Überarbeitungsrunden. Führen Sie die Kritik nach Möglichkeit parallel zu nicht blockierenden Aufgaben aus.

Validieren Sie den Kritiker, bevor Sie ihm vertrauen. Erstellen Sie eine Sammlung von Ausgaben mit menschlichen Labels, lassen Sie den Kritiker darüber urteilen und messen Sie die Übereinstimmung (Precision/Recall im Vergleich zu menschlichen Urteilen). Passen Sie Bewertungsrubrik und Persona an, bis die Urteile des Kritikers mit denen von Menschen korrelieren; überprüfen Sie dies nach Modellaktualisierungen erneut.

Sie möchten, dass der Kritiker Halluzinationen in einer RAG-Antwort zuverlässig erkennt. Was verbessert die Zuverlässigkeit am meisten?

Validierung durch Selbstkritik:

• Ein separater Kritiker mit sauberem Kontext beurteilt die Ausgabe des Autors.
• Geben Sie strukturierte Urteile aus und steuern Sie eine Schleife aus Kritik und Überarbeitung.
• Konkrete Bewertungsrubriken und kontextbasierte Folgerungsprüfungen erhöhen die Zuverlässigkeit.
• Achten Sie auf Anbiederung und geteilte blinde Flecken; verwenden Sie ein anderes Kritiker-Modell.
• Begrenzen Sie die Prüfungen anhand der Kosten, kombinieren Sie sie mit deterministischen Checks und kalibrieren Sie sie an menschlichen Urteilen.

Sie haben die Leitplanken abgeschlossen. Nächster Kurs: Red-Teaming und adversariale Bewertung.