Nierozwiązane problemy: odporność, zgodność, pamięć długoterminowa

Mimo ogromnych postępów podstawowe problemy dotyczące agentów pozostają nierozwiązane. Świadomość ich istnienia pomaga określić, co można dziś realistycznie zbudować.

Agenci, którzy działają poprawnie w 99% przypadków, nadal ponoszą katastrofalne porażki w sytuacjach brzegowych:

• Ataki typu prompt injection zbyt często kończą się powodzeniem
• Narzędzia zawodzą w nieprzewidywalny sposób
• Małe błędy kumulują się w zadaniach o długim horyzoncie
• Zmiana rozkładu danych co tydzień zakłóca działanie agentów na produkcji

• Constitutional AI (Anthropic)
• Samozgodność i łańcuchy weryfikacji
• Trening konfrontacyjny
• Programowanie sterowane specyfikacją

Agenci działają w imieniu użytkowników, ale użytkownik, agent i firma rozwijająca AI mogą mieć różne cele. Czyje wartości powinny zwyciężyć, gdy dochodzi między nimi do konfliktu?

• Czy agent powinien odmówić wykonania zadania, które jest zgodne z prawem, ale nieetyczne?
• Czy powinien działać wbrew krótkoterminowym życzeniom użytkownika, kierując się jego długoterminowym dobrem?
• Czy powinien korygować dezinformację przekazywaną przez użytkownika?

• RLHF — trenowanie na podstawie ludzkich preferencji
• Constitutional AI — model samodzielnie ocenia swoje odpowiedzi względem określonych zasad
• Debata — dwóch agentów przedstawia przeciwne argumenty, a człowiek pełni funkcję sędziego
• Skalowalny nadzór — AI pomaga ludziom nadzorować AI

To problem charakterystyczny dla agentów: nawet dostosowany do wartości LLM może stać się niezgodny z nimi po otrzymaniu dostępu do narzędzi. Model „chce” pomagać, ale skróty stosowane podczas korzystania z narzędzi mogą zagrażać bezpieczeństwu użytkownika. To aktywnie badany obszar we wszystkich największych laboratoriach.

Agenci działający przez godziny, dni lub miesiące nadal mają trudności z zapamiętywaniem tego, co było istotne:

• Bazy wektorowe odtwarzają TEKST, a nie rozumienie
• Podsumowania tracą szczegóły
• Pamięć proceduralna nie uogólnia się
• Brakuje dobrego sposobu na „scalanie” faktów w przypadku sprzeczności

• MemGPT / Letta — jawne poziomy pamięci
• Rzadka mieszanina ekspertów do przechowywania danych
• Wagi samodzielnie modyfikowane podczas działania (trening w czasie testu)
• Destylacja pamięci epizodycznej do semantycznej

Agenci planujący pięć kroków naprzód są powszechni, ale plany obejmujące 50 kroków regularnie kończą się niepowodzeniem. Hierarchiczny podział pomaga, lecz nie rozwiązuje problemu.

• Plany z czasem odbiegają od założeń
• Niepowodzenia się kumulują
• Planowanie na nowo jest kosztowne

Agenci wykorzystujący najnowocześniejsze rozwiązania kosztują od 1 do 10 USD za złożone zadanie. Ceny muszą spaść 10–100 razy, aby możliwe było powszechne zastosowanie konsumenckie. Główne trendy:

• Destylacja do mniejszych modeli
• Sprzęt (Cerebras, Groq, Etched)
• Lepsze routowanie i buforowanie

Systemy wieloagentowe wykazują emergentny brak koordynacji — agenci mogą rywalizować, kłamać lub działać w zmowie, gdy ich zachęty są sprzeczne. Projektowanie mechanizmów i teoria gier wkraczają do stosu technologicznego agentów.

Dzisiejsze benchmarki z trudem obejmują rzeczywistą pracę produkcyjną. Zakres zadań długiego ogona, multimodalnych i trwających wiele dni jest niewielki. Tworzenie lepszych benchmarków pozostaje otwartym wyzwaniem badawczym.

• Agenci gromadzą dane osobowe — jak są one chronione?
• Agenci działający w środowisku wielodostępnym mogą ujawniać dane między użytkownikami
• Modele mogą zapamiętywać poufne dane z treningu
• Odpowiedzialność za szkodliwe decyzje podejmowane przez agentów nadal nie jest jasno określona

Dalszy rozwój prawdopodobnie obejmie:

• Lepsze rozumowanie w czasie wnioskowania
• Ściślejszą integrację podejść symbolicznych i neuronowych
• Solidne protokoły koordynacji wielu agentów
• Weryfikowalnych agentów poddających się audytowi w regulowanych obszarach
• Lepsze podstawowe mechanizmy udziału człowieka w pętli

Dzisiejsi agenci są niezwykle przydatni w wielu zadaniach, ale NIGDY nie należy powierzać im autonomicznego podejmowania decyzji o istotnych konsekwencjach bez kontroli człowieka. Należy projektować systemy tak, aby wyraźnie rozdzielały sytuacje, w których „agent pomaga”, od tych, w których „człowiek zatwierdza”.

Agenci to najważniejszy paradygmat w oprogramowaniu od czasu powstania sieci WWW. Należy tworzyć ich z rozwagą, uczciwie oceniać, chronić użytkowników i być na bieżąco.

Który z tych problemów dotyczących agentów nadal pozostaje NIEROZWIĄZANY?