Das LLM-as-Judge-Muster

Die manuelle Bewertung von LLM-Ausgaben ist langsam und teuer. Ein Team menschlicher Bewerter kann einige hundert Ausgaben pro Woche bewerten, ein Produktivsystem erzeugt jedoch Tausende pro Tag. LLM-as-judge verwendet ein leistungsfähiges Sprachmodell, um die Qualität anderer LLM-Ausgaben in großem Maßstab zu bewerten. Dadurch werden automatisierte Regressionstests und eine kontinuierliche Qualitätsüberwachung möglich, ohne eine große Zahl von Annotatoren einzustellen.

Bei LLM-as-judge senden Sie einem Judge-Modell (typischerweise GPT-4o oder Claude) einen System-Prompt mit den Bewertungskriterien, der ursprünglichen Frage, der Modellantwort und optional einer Referenzantwort. Das Judge-Modell gibt eine numerische Bewertung, ein Label oder eine Rangfolge zurück. Das funktioniert, weil hochmoderne Modelle Qualitätskonzepte wie Korrektheit, Nützlichkeit und Kohärenz ausreichend gut verstehen.

Ein guter Judge-Prompt definiert explizite Bewertungsschemata mit konkreten Bedeutungen der Punktzahlen, statt vager Begriffe wie „gut“ oder „schlecht“ zu verwenden. Legen Sie für jedes Kriterium konkret fest, was eine Bewertung von 5, 3 oder 1 bedeutet. Geben Sie die Frage, die zu bewertende Antwort und optional eine Referenzantwort an. Bitten Sie vor der Punktzahl um eine Begründung (Chain-of-Thought), um willkürliche Bewertungen zu reduzieren.

Rufen Sie das Judge-Modell mit Ihrem Bewertungs-Prompt auf. Parsen Sie die JSON-Antwort, um die Bewertungen zu extrahieren. Verwenden Sie immer strukturierte Ausgaben oder den JSON-Modus, damit das Judge-Modell parsebare Daten zurückgibt. Wenn dasselbe Modell sowohl das zu testende System als auch den Judge bildet, kann dies zu Verzerrungen führen – bevorzugen Sie ein anderes Modell oder zumindest eine andere Konfiguration für den Judge.

Bei der Bewertung durch LLMs gibt es zwei Modi. Bei der referenzfreien Bewertung soll der Judge die Qualität ohne eine Musterlösung bewerten – das ist nützlich, wenn keine Musterlösung existiert, etwa bei offenen Chats. Bei der referenzbasierten Bewertung wird eine Musterlösung bereitgestellt und geprüft, ob die Modellantwort mit ihr übereinstimmt – das eignet sich besser für faktische Fragen, bei denen eine korrekte Antwort bekannt ist. Verwenden Sie die referenzbasierte Bewertung, wenn Ihnen ein gelabelter Testsatz vorliegt.

LLM-Judges weisen bekannte Verzerrungen auf: Sie bevorzugen längere Antworten (Verzerrung zugunsten von Ausführlichkeit), selbstsicher klingende Antworten und Antworten, die dem Stil ihrer Trainingsdaten entsprechen. Verringern Sie die Verzerrung zugunsten von Ausführlichkeit, indem Sie unnötige Länge in Ihrem Bewertungsschema ausdrücklich abwerten. Reduzieren Sie bei paarweisen Vergleichen die Positionsverzerrung, indem Sie randomisieren, welche Antwort zuerst erscheint, und die Bewertungen beider Reihenfolgen mitteln.

Führen Sie Judge-Bewertungen parallel aus, um große Testsätze schnell zu bewerten. Mit asyncio und einem Semaphore können Sie Hunderte Ausgaben pro Minute bewerten. Planen Sie ein separates Rate-Limit-Budget für Judge-Aufrufe ein (auch diese verbrauchen Tokens) und erwägen Sie für Kriterien ohne Bedarf an tiefgreifender Reasoning ein kleineres, aber weiterhin leistungsfähiges Judge-Modell wie GPT-4o-mini. GPT-4o bleibt dann den wichtigsten Kriterien vorbehalten.

Aggregieren Sie nach der Bewertung eines Testsatzes die Ergebnisse zu zusammenfassenden Statistiken: Mittelwert, Median und den Prozentsatz der Antworten oberhalb eines Qualitätsschwellenwerts (beispielsweise Korrektheit ≥ 4). Vergleichen Sie diese zusammengefassten Werte zwischen Modellversionen oder Prompt-Varianten. Ein Rückgang der Rate oberhalb des Schwellenwerts um mehr als 5 % sollte vor der Bereitstellung der neuen Version eine Überprüfung auslösen.

Verwenden Sie LLM-as-judge, um zwei Versionen Ihres Systems zu vergleichen – beispielsweise vor und nach einer Prompt-Änderung. Führen Sie beide Versionen mit demselben Satz von Testfragen aus, lassen Sie alle Ausgaben bewerten und berechnen Sie die Gewinnrate: den Prozentsatz der Fälle, in denen Version B eine höhere Bewertung als Version A erhält. Eine Gewinnrate von über 55 % bei mehr als 100 Stichproben ist typischerweise statistisch signifikant genug, um die Auslieferung der neuen Version zu rechtfertigen.

Validieren Sie Ihren Judge, indem Sie seine Bewertungen mit menschlichen Bewertungen auf einem Kalibrierungsdatensatz mit 50–200 Beispielen vergleichen. Berechnen Sie die Pearson-Korrelation zwischen den Bewertungen des Judges und denen der Menschen. Eine Korrelation über 0,7 zeigt, dass der Judge zuverlässig ist. Wenn die Korrelation niedrig ist, prüfen Sie den Judge-Prompt, um festzustellen, wo er von den menschlichen Bewertungen abweicht, und ergänzen Sie Beispiele oder Erläuterungen in der Bewertungsrichtlinie. Setzen Sie niemals einen Judge ohne Kalibrierung produktiv ein.

LLM-as-Judge eignet sich nicht für jedes Evaluationsszenario. Vermeiden Sie es, wenn das Kriterium Fachwissen erfordert, über das das Judge-Modell nicht verfügt (etwa die Genauigkeit medizinischer Diagnosen oder die Einhaltung rechtlicher Vorgaben), wenn Sie eine rechtlich belastbare Evaluation benötigen (hier ist eine menschliche Prüfung erforderlich), wenn Sie ein Modell bewerten, das leistungsfähiger ist als der Judge (der Judge kann Ausgaben nicht zuverlässig bewerten, die er selbst nicht erzeugen könnte), oder wenn das Evaluationsbudget für die zusätzlichen API-Kosten zu knapp ist. Verwenden Sie in diesen Fällen eine menschliche Evaluation oder deterministische Metriken.

Testen Sie Ihr Verständnis des Evaluationsmusters LLM-as-Judge.

In dieser Lektion haben Sie gelernt: LLM-as-Judge verwendet ein leistungsstarkes Modell, um die Qualität mithilfe expliziter Bewertungsrichtlinien in großem Umfang zu evaluieren; referenzfreie und referenzbasierte Modi eignen sich für unterschiedliche Evaluationsszenarien; und die Kalibrierung anhand menschlicher Bewertungen bestätigt die Zuverlässigkeit Ihres Judges, bevor Sie ihn in der Produktion einsetzen. Als Nächstes implementieren wir punktweise und paarweise Evaluationsstrategien.