Problemi aperti: robustezza, allineamento, memoria a lungo termine

Nonostante i notevoli progressi, alcuni problemi fondamentali degli agenti non sono ancora stati risolti. Conoscerli aiuta a definire ciò che è realistico costruire oggi.

Anche gli agenti che funzionano il 99% delle volte continuano a fallire in modo catastrofico nei casi limite:

• Gli attacchi di prompt injection hanno successo troppo spesso
• Gli strumenti falliscono in modi inediti
• Le attività su orizzonti temporali lunghi accumulano piccoli errori
• Il cambiamento nella distribuzione causa ogni settimana problemi agli agenti in produzione

• Constitutional AI (Anthropic)
• Auto-coerenza e catene di verifica
• Addestramento avversario
• Sviluppo guidato dalle specifiche

Gli agenti agiscono per conto degli utenti, ma l'utente, l'agente e l'azienda di IA potrebbero avere obiettivi diversi. Quali valori prevalgono quando entrano in conflitto?

• Un agente dovrebbe rifiutare un'attività legale ma non etica?
• Dovrebbe agire nell'interesse del benessere a lungo termine contro i desideri a breve termine?
• Dovrebbe correggere le informazioni errate dell'utente?

• RLHF — addestramento sulle preferenze umane
• Constitutional AI — il modello valuta criticamente sé stesso rispetto a determinati principi
• Debate — due agenti discutono e un essere umano giudica
• Scalable oversight — l'IA aiuta gli esseri umani a supervisionare l'IA

È un problema specifico degli agenti: anche un LLM allineato può diventare disallineato quando gli vengono forniti strumenti. Il modello "vuole" aiutare, ma il suo utilizzo degli strumenti mette a rischio la sicurezza dell'utente. È un'area di ricerca attiva nei principali laboratori.

Gli agenti che operano per ore, giorni o mesi continuano ad avere difficoltà a ricordare ciò che conta:

• I vector store recuperano TESTO, non comprensione
• I riepiloghi perdono dettagli
• La memoria procedurale non si generalizza
• Non esiste un buon modo per "unire" fatti in contraddizione

• MemGPT / Letta — livelli di memoria espliciti
• Mixture-of-experts sparsa per l'archiviazione
• Pesi auto-modificabili (addestramento al momento del test)
• Distillazione dalla memoria episodica a quella semantica

Gli agenti che pianificano con cinque passaggi di anticipo sono comuni; i piani di 50 passaggi deragliano regolarmente. La scomposizione gerarchica aiuta, ma non risolve il problema.

• I piani si discostano dall'obiettivo nel tempo
• Gli errori si accumulano
• Ricalcolare il piano è costoso

Gli agenti all'avanguardia costano da 1 a 10 $ per attività complesse. I prezzi devono diminuire di un fattore compreso tra 10 e 100 per consentirne l'uso consumer ambientale. Tendenze:

• Distillazione verso modelli più piccoli
• Hardware (Cerebras, Groq, Etched)
• Routing e caching migliori

I sistemi multi-agente mostrano forme emergenti di mancato coordinamento: gli agenti possono competere, mentire o colludere quando i loro incentivi entrano in conflitto. La progettazione dei meccanismi e la teoria dei giochi stanno entrando nello stack degli agenti.

I benchmark odierni coprono a malapena il lavoro reale in produzione. La copertura delle attività dalla coda lunga, multimodali e distribuite su più giorni è scarsa. La creazione di benchmark migliori è ancora un'attività di ricerca aperta.

• Gli agenti accumulano dati personali: come vengono protetti?
• Gli agenti multi-tenant possono far trapelare dati tra utenti
• I modelli potrebbero memorizzare dati sensibili usati per l'addestramento
• La responsabilità quando gli agenti prendono decisioni dannose non è ancora chiara

Il percorso futuro probabilmente comprenderà:

• Migliore ragionamento al momento dell'inferenza
• Integrazione più stretta tra approcci simbolici e neurali
• Protocolli robusti per il coordinamento multi-agente
• Agenti verificabili e sottoponibili ad audit nei settori regolamentati
• Primitive migliori con supervisione umana nel ciclo

Gli agenti di oggi sono estremamente utili per molte attività, ma non devono MAI essere considerati affidabili per decisioni autonome ad alto rischio senza una revisione umana. Progetti distinguendo chiaramente tra "l'agente aiuta" e "l'essere umano approva".

Gli agenti sono il paradigma più importante nel software dai tempi del web. Li sviluppi con attenzione. Li valuti con onestà. Difenda gli utenti. Si mantenga aggiornato.

Quale di questi è ancora un problema NON RISOLTO nel campo degli agenti?