Selbstkorrektur und reflektierendes Prompting

Reflektierendes Prompting ist eine Technik, bei der der Agent aufgefordert wird, seine eigene Ausgabe zu bewerten, bevor er sie finalisiert. Statt eine Antwort zu erzeugen und anschließend anzuhalten, überprüft der Agent seine Antwort anhand des ursprünglichen Ziels, erkennt Lücken oder Fehler und erstellt eine korrigierte Version. Dies ahmt nach, wie Menschen ihre eigene Arbeit Korrektur lesen, und verbessert die Ausgabequalität bei komplexen Aufgaben erheblich, ohne ein separates Critic-Modell zu benötigen.

Die grundlegende reflektierende Schleife besteht aus drei Schritten: eine erste Antwort Generate erzeugen, diese Antwort anhand klarer Kriterien Critique bewerten und sie auf Grundlage der Kritik Revise. Die Schleife kann ein- oder mehrmals durchlaufen werden. Jede Iteration verbessert die Antwort, bis die Kritik sie entweder als zufriedenstellend einstuft oder eine maximale Anzahl an Überarbeitungen erreicht ist. Der Kritikschritt ist selbst ein LLM-Aufruf mit einem spezialisierten Reflexions-Prompt.

Der Kritik-Prompt muss konkrete Bewertungskriterien festlegen, statt das Modell lediglich aufzufordern, die Antwort zu „verbessern“. Listen Sie die zu überprüfenden Punkte konkret auf: Ist jede Aussage korrekt? Wurden alle Teile der Frage beantwortet? Fehlt ein Schritt? Gibt es unnötige Ausschmückungen? Ein Kritik-Prompt mit expliziten Checklistenpunkten erzeugt umsetzbares Feedback, das der Überarbeitungsschritt direkt verwenden kann.

Strukturieren Sie die Kritik als Pydantic-Modell, damit Sie programmgesteuert entscheiden können, ob eine Überarbeitung erforderlich ist. Das Feld is_satisfactory bestimmt, wann die Schleife beendet wird. Die Liste issues teilt dem Überarbeitungsschritt genau mit, was zu korrigieren ist. Mit dem Feld severity können Sie eine Überarbeitung bei geringfügigen stilistischen Problemen überspringen, während bei sachlichen Fehlern immer überarbeitet wird.

Der Überarbeitungs-Prompt erhält die ursprüngliche Aufgabe, die erste Antwort und das Kritik-Feedback. Fordern Sie das Modell auf, eine verbesserte Version zu erstellen, die jedes von der Kritik genannte Problem gezielt behebt und zugleich die korrekten Teile der ursprünglichen Antwort beibehält. Fügen Sie immer das Wort „only“ ein, um zu verhindern, dass das Modell unnötige Änderungen an Teilen vornimmt, die von der Kritik bereits bestätigt wurden.

Selbstkorrektur ist besonders bei der Codegenerierung leistungsfähig. Führen Sie nach der Codegenerierung einen Linter oder Typechecker aus, geben Sie die Fehlerausgabe an das Modell zurück und fordern Sie es auf, die Fehler zu beheben. Diese ausführungsgestützte Reflexion ist zuverlässiger als eine rein sprachbasierte Kritik, weil das Feedback von einem objektiven Tool statt von der Einschätzung eines anderen LLM stammt.

Ein häufiges Problem reflektierender Systeme ist die Überkorrektur: Das Modell verschlimmert das ursprüngliche Problem, während es versucht, etwas anderes zu beheben. Begrenzen Sie den Umfang der Überarbeitung: Der Überarbeitungs-Prompt sollte ausdrücklich sagen: „do not change anything that was not flagged.“ Vergleichen Sie die überarbeitete Antwort außerdem mithilfe einer Diff-Prüfung mit dem Original. Wenn die überarbeitete Version sich grundlegend unterscheidet, ist etwas schiefgelaufen und Sie sollten das Original beibehalten.

Fügen Sie bei einem mehrstufigen Agent einen Reflexionsprüfpunkt ein, nachdem eine Reihe von Schritten abgeschlossen wurde – beispielsweise nachdem alle Recherchen gesammelt, aber bevor der Abschlussbericht verfasst wurde. Der Agent überprüft die gesammelten Informationen, erkennt Lücken und entscheidet, ob weitere Informationen gesammelt werden müssen oder fortgefahren werden kann. Diese Reflexion während der Aufgabe verhindert, dass Agents mit unvollständigen oder widersprüchlichen Belegen zum Zusammenfassungsschritt übergehen.

Protokollieren Sie jede Reflexionsrunde: die Bewertung der Kritik, welche Probleme erkannt wurden und ob die Überarbeitung diese tatsächlich behoben hat. Diese Daten zeigen, wie wirksam Ihre Reflexions-Prompts sind. Wenn die überarbeitete Antwort regelmäßig dieselben von der Kritik beanstandeten Probleme erneut einführt, ist Ihr Überarbeitungs-Prompt nicht spezifisch genug. Wenn die meisten Kritiken bereits in der ersten Runde „APPROVE“ lauten, ist die Qualität der ersten Generierung bereits hoch und der zusätzliche Aufwand der Reflexion möglicherweise nicht gerechtfertigt.

Reflexion verursacht zusätzliche Latenz und Kosten – eine Reflect-and-Revise-Schleife mit zwei Runden verdreifacht mindestens die Anzahl der LLM-Aufrufe für diese Aufgabe. Setzen Sie Reflexion gezielt ein: immer bei Ausgaben mit hohen Anforderungen (ausführbarer Code, Antworten auf folgenschwere geschäftliche Fragen), optional bei Antworten für Benutzer und niemals bei internen Zwischenschritten, die unmittelbar von einem Tool überprüft werden. Die Kosten lohnen sich, wenn Qualität wichtiger ist als Geschwindigkeit.

Überprüfen Sie anhand von A/B-Tests, ob Reflexion Ihre Ausgaben tatsächlich verbessert: Verarbeiten Sie zufällig 50 % der Aufgaben mit Reflexion und 50 % ohne und bewerten Sie anschließend beide Gruppen mit Ihrem LLM-Judge. Wenn die reflektierende Gruppe deutlich besser abschneidet und die Verbesserung die zusätzliche Latenz und die zusätzlichen Kosten übersteigt, lohnt sich Reflexion. Sind die Bewertungen ähnlich, ist die Qualität Ihrer ersten Generierung bereits ausreichend hoch und Reflexion verursacht zusätzlichen Aufwand ohne Nutzen.

In dieser Lektion haben Sie gelernt: Reflect-and-Revise-Schleifen verbessern die Ausgabequalität, indem der Agent seine eigenen Antworten kritisiert und korrigiert. Konkrete Kritikrubriken erzeugen umsetzbares Feedback statt vager Verbesserungsvorschläge, und ausführungsgestützte Reflexion mit objektiven Tools wie Lintern ist besonders bei der Codegenerierung leistungsfähig. Als Nächstes implementieren wir Checkpointing für Agents und die Wiederaufnahme von Aufgaben.