Problèmes ouverts : robustesse, alignement, mémoire à long horizon

Malgré les progrès considérables, des problèmes fondamentaux des agents restent UNSOLVED. Les connaître vous aide à délimiter ce qu'il est réaliste de construire aujourd'hui.

Les agents qui fonctionnent 99 % du temps échouent tout de même de manière catastrophique dans certains cas limites :

• Les attaques par injection d'instructions réussissent encore trop souvent
• Les outils échouent de manière inédite
• Les tâches à long horizon cumulent les petites erreurs
• Les changements de distribution déstabilisent chaque semaine les agents en production

• IA constitutionnelle (Anthropic)
• Auto-cohérence et chaînes de vérification
• Entraînement contradictoire
• Développement piloté par les spécifications

Les agents agissent au nom des utilisateurs — mais l'utilisateur, l'agent et l'entreprise d'IA peuvent avoir des objectifs différents. Quelles valeurs doivent prévaloir lorsqu'elles entrent en conflit ?

• Un agent doit-il refuser une tâche légale mais contraire à l'éthique ?
• Doit-il privilégier le bien-être à long terme au détriment des souhaits à court terme ?
• Doit-il rectifier les informations erronées de l'utilisateur ?

• RLHF — entraînement à partir des préférences humaines
• IA constitutionnelle — le modèle s'autoévalue à l'aune de principes
• Débat — deux agents débattent, des humains arbitrent
• Supervision à grande échelle — l'IA aide les humains à superviser l'IA

Ce problème est propre aux agents : même un LLM aligné peut devenir désaligné lorsqu'on lui donne des outils. Le modèle « veut » aider, mais son utilisation des outils contourne la sécurité de l'utilisateur. C'est un domaine de recherche actif dans tous les grands laboratoires.

Les agents qui fonctionnent pendant des heures, des jours ou des mois ont encore du mal à se rappeler ce qui comptait :

• Les magasins vectoriels récupèrent du TEXT, pas de la compréhension
• Les résumés perdent des détails
• La mémoire procédurale ne se généralise pas
• Il n'existe pas de bonne méthode pour « fusionner » les faits contradictoires

• MemGPT / Letta — niveaux de mémoire explicites
• Mélange parcimonieux d'experts pour le stockage
• Poids auto-modifiables (entraînement au moment de l'utilisation)
• Distillation de l'épisodique vers le sémantique

Les agents qui planifient 5 étapes à l'avance sont courants ; les plans en 50 étapes déraillent régulièrement. La décomposition hiérarchique aide, mais ne résout pas le problème.

• Les plans dérivent au fil du temps
• Les échecs se cumulent
• Replanifier coûte cher

Les agents à la pointe coûtent de 1 à 10 $ par tâche complexe. Les prix doivent baisser d'un facteur de 10 à 100 pour permettre un usage grand public omniprésent. Tendances :

• Distillation vers des modèles plus petits
• Matériel (Cerebras, Groq, Etched)
• Meilleur routage et meilleure mise en cache

Les systèmes multi-agents présentent une mauvaise coordination émergente : les agents peuvent se faire concurrence, mentir ou s'allier lorsque leurs incitations entrent en conflit. La conception de mécanismes et la théorie des jeux font leur entrée dans la pile logicielle des agents.

Les références actuelles couvrent à peine le travail réel en production. La couverture des tâches à longue traîne, multimodales et s'étendant sur plusieurs jours est faible. Concevoir de meilleures références est un effort de recherche encore ouvert.

• Les agents accumulent des données personnelles — comment sont-elles protégées ?
• Les agents accueillant plusieurs clients peuvent laisser fuiter des données d'un utilisateur à l'autre
• Les modèles peuvent mémoriser des données d'entraînement sensibles
• La responsabilité lorsque les agents prennent des décisions préjudiciables reste incertaine

La voie à suivre comprend probablement :

• Un meilleur raisonnement au moment de l'inférence
• Une intégration plus étroite du symbolique et du neuronal
• Des protocoles robustes de coordination multi-agents
• Des agents vérifiables et auditables dans les domaines réglementés
• De meilleures primitives avec humain dans la boucle

Les agents actuels sont extrêmement utiles pour de nombreuses tâches, mais vous ne devez NEVER leur faire confiance pour prendre de manière autonome des décisions à fort enjeu sans contrôle humain. Concevez vos systèmes autour de la frontière entre « l'agent aide » et « l'humain approuve ».

Les agents constituent le changement de paradigme le plus important dans le domaine des logiciels depuis le Web. Construisez-les avec soin. Évaluez-les honnêtement. Protégez les utilisateurs. Restez à jour.

Lequel de ces problèmes des agents reste UNSOLVED ?