Offene Probleme: Robustheit, Alignment, Langzeitgedächtnis

Trotz großer Fortschritte sind grundlegende Probleme von Agenten weiterhin ungelöst. Wenn Sie diese kennen, können Sie realistischer einschätzen, was sich heute bauen lässt.

Agenten, die in 99 % der Fälle funktionieren, versagen bei Randfällen dennoch auf katastrophale Weise:

• Prompt-Injection-Angriffe sind zu oft erfolgreich
• Tools versagen auf neuartige Weise
• Aufgaben mit langem Zeithorizont verstärken kleine Fehler
• Verteilungsverschiebungen bringen Agenten in der Produktion wöchentlich aus dem Tritt

• Constitutional AI (Anthropic)
• Selbstkonsistenz- und Verifikationsketten
• Adversarial Training
• Spezifikationsgetriebene Entwicklung

Agenten handeln im Auftrag der Nutzer – aber Nutzer, Agent und KI-Unternehmen können unterschiedliche Ziele verfolgen. Wessen Werte setzen sich durch, wenn sie miteinander in Konflikt geraten?

• Sollte ein Agent eine rechtmäßige, aber unethische Aufgabe ablehnen?
• Sollte er gegen kurzfristige Wünsche im Interesse des langfristigen Wohlergehens handeln?
• Sollte er Fehlinformationen des Nutzers korrigieren?

• RLHF — anhand menschlicher Präferenzen trainieren
• Constitutional AI — das Modell kritisiert sich selbst anhand von Prinzipien
• Debatte — zwei Agenten argumentieren, ein Mensch urteilt
• Skalierbare Aufsicht — KI unterstützt Menschen bei der Überwachung von KI

Spezifisch für Agenten: Selbst ein ausgerichtetes LLM kann beim Einsatz von Tools zu Misalignment führen. Das Modell „möchte“ helfen, aber seine Abkürzungen bei der Tool-Nutzung hebeln die Sicherheit der Nutzer aus. Dies ist ein aktives Forschungsgebiet in allen großen Forschungslaboren.

Agenten, die stunden-, tage- oder monatelang arbeiten, haben weiterhin Schwierigkeiten, sich zu merken, was wichtig war:

• Vektorspeicher rufen TEXT ab, kein Verständnis
• Zusammenfassungen verlieren Details
• Prozedurales Gedächtnis lässt sich nicht verallgemeinern
• Es gibt keine gute Möglichkeit, Fakten über Widersprüche hinweg zu „verschmelzen“

• MemGPT / Letta — explizite Gedächtnisebenen
• Sparse-Mixture-of-Experts zur Speicherung
• Sich selbst verändernde Gewichte (Training zur Testzeit)
• Distillation vom episodischen zum semantischen Gedächtnis

Agenten, die fünf Schritte im Voraus planen, sind weit verbreitet; Pläne mit 50 Schritten geraten regelmäßig aus dem Ruder. Hierarchische Zerlegung hilft, löst das Problem aber nicht.

• Pläne driften mit der Zeit ab
• Fehler verstärken sich
• Neuplanung ist teuer

Hochmoderne Agenten kosten 1–10 $ pro komplexer Aufgabe. Die Preise müssen um das 10- bis 100-Fache sinken, damit ein alltagsnaher Einsatz durch Endverbraucher möglich wird. Trends:

• Distillation auf kleinere Modelle
• Hardware (Cerebras, Groq, Etched)
• Besseres Routing und Caching

Multi-Agenten-Systeme zeigen emergente Fehlkoordination – Agenten können miteinander konkurrieren, lügen oder sich absprechen, wenn ihre Anreize miteinander in Konflikt stehen. Mechanism Design und Spieltheorie halten Einzug in den Agenten-Stack.

Die heutigen Benchmarks decken echte Aufgaben in der Produktion kaum ab. Die Abdeckung von Aufgaben mit langen Ausnahmefällen sowie von multimodalen und mehrtägigen Aufgaben ist mangelhaft. Bessere Benchmarks zu entwickeln, ist ein offenes Forschungsgebiet.

• Agenten sammeln personenbezogene Daten – wie werden diese geschützt?
• Mandantenfähige Agenten lassen Daten zwischen Nutzern durchsickern
• Modelle speichern möglicherweise sensible Trainingsdaten
• Die Haftung, wenn Agenten schädliche Entscheidungen treffen, ist weiterhin unklar

Der Weg nach vorn umfasst wahrscheinlich:

• Besseres Reasoning zur Inferenzzeit
• Engere Integration von symbolischen und neuronalen Verfahren
• Robuste Protokolle zur Koordination mehrerer Agenten
• Verifizierbare und auditierbare Agenten in regulierten Bereichen
• Bessere Bausteine für Human-in-the-Loop-Prozesse

Die heutigen Agenten sind für viele Aufgaben äußerst nützlich, sollten aber für Entscheidungen mit hohen Risiken ohne menschliche Prüfung NIEMALS autonom eingesetzt werden. Entwerfen Sie Systeme für die Grenze zwischen „Agent unterstützt“ und „Mensch genehmigt“.

Agenten sind das folgenreichste Paradigma in der Softwareentwicklung seit dem Web. Entwickeln Sie sie sorgfältig. Evaluieren Sie ehrlich. Schützen Sie die Nutzer. Bleiben Sie auf dem aktuellen Stand.

Welches dieser Probleme ist bei Agenten noch UNGELÖST?