Strategien zur Reduzierung von Halluzinationen

Willkommen! In dieser Lektion beschäftigen wir uns mit einer häufigen Herausforderung bei Large Language Models (LLMs): Halluzinationen.

Eine Halluzination eines LLMs tritt auf, wenn das Modell sachlich falsche, unsinnige oder vollständig erfundene Informationen erzeugt und diese dennoch als wahr darstellt. Es ist, als würde die KI selbstbewusst Dinge erfinden!

LLMs werden darauf trainiert, anhand von Mustern in großen Textmengen das jeweils wahrscheinlichste nächste Wort vorherzusagen. Sie „kennen“ Fakten nicht im menschlichen Sinne.

• Manchmal fehlen ihnen ausreichende oder relevante Informationen.
• Sie extrapolieren möglicherweise über ihre Trainingsdaten hinaus.
• Sie geben einem stimmigen und selbstbewussten Klang Vorrang vor faktischer Genauigkeit.

Wenn wir das verstehen, können wir bessere Prompts entwickeln, die sie gezielt anleiten.

Eine der wirksamsten Möglichkeiten, Halluzinationen zu reduzieren, besteht darin, das LLM mit relevanten Informationen zu verankern. Statt es aufzufordern, Fakten aus seinen Trainingsdaten abzurufen, geben Sie den erforderlichen Kontext direkt in Ihrem Prompt an.

Stellen Sie sich das LLM als äußerst intelligenten Leser des Textes vor, den Sie ihm geben, nicht als Suchmaschine, die alles weiß.

So können Sie einem LLM konkreten Kontext bereitstellen. Das Modell stützt seine Antwort dann ausschließlich auf den bereitgestellten Text.

LLMs klingen oft selbstbewusst, auch wenn sie falsch liegen. Sie können dies abmildern, indem Sie das Modell ausdrücklich anweisen, zuzugeben, wenn es die Antwort nicht kennt.

Dadurch wird das LLM dazu angeregt, mit „Ich weiß es nicht“ zu antworten, statt zum Schließen einer Wissenslücke Informationen zu erfinden.

Fügen Sie eine klare Anweisung hinzu, etwa: „Wenn Sie es nicht wissen, geben Sie an, dass Ihnen nicht genügend Informationen vorliegen.“

Eine weitere hilfreiche Strategie besteht darin, das LLM aufzufordern, seine Quellen zu nennen oder seinen Lösungsweg zu erklären. Auch wenn es nicht immer echte URLs liefert, kann dies:

• das Modell dazu zwingen, Informationen sorgfältiger abzurufen.
• Ihnen dabei helfen zu erkennen, wann es etwas erfindet (wenn es keine plausible Quelle oder keinen nachvollziehbaren Lösungsweg nennen kann).

Bei komplexen Fragen kann die Aufforderung an das LLM, vor der endgültigen Antwort „Schritt für Schritt zu denken“ oder „seinen Lösungsweg zu erklären“, Halluzinationen deutlich reduzieren.

So kann das Modell das Problem in einzelne Schritte zerlegen, was häufig zu genaueren Zwischenschritten und einer zuverlässigeren endgültigen Antwort führt.

Prompt Engineering ist ein iterativer Prozess. Wenn ein LLM halluziniert, geben Sie nicht auf!

• Umformulieren: Verwenden Sie für Ihren Prompt eine andere Formulierung.
• Mehr Kontext hinzufügen: Stellen Sie noch spezifischere Informationen bereit.
• Format angeben: Fordern Sie Antworten in einem strukturierten Format an (z. B. als Aufzählung oder JSON), um die Ausgabe einzugrenzen.
• Strategien kombinieren: Verwenden Sie Verankerung, Anweisungen zur Unsicherheit und schrittweises Denken gemeinsam.

Großartig! Sie haben wichtige Strategien kennengelernt, um Halluzinationen von LLMs zu minimieren:

• Verankerung: Geben Sie expliziten Kontext vor.
• Unsicherheit: Weisen Sie das LLM an, anzugeben, wenn es etwas nicht weiß.
• Überprüfung: Fordern Sie Quellen oder eine Begründung an.
• Schritt-für-Schritt: Fördern Sie detailliertes Denken.
• Iteration: Verfeinern Sie Ihre Prompts kontinuierlich.

Mit diesen Techniken können Sie Ihre Interaktionen mit LLMs zuverlässiger und genauer gestalten!