Problemas abiertos: robustez, alineación y memoria a largo plazo

A pesar de los enormes avances, los problemas fundamentales de los agentes aún no están resueltos. Conocerlos le ayuda a delimitar lo que es realista construir hoy.

Los agentes que funcionan el 99 % de las veces siguen fallando de forma catastrófica en casos extremos:

• Los ataques de inyección de prompts tienen éxito con demasiada frecuencia
• Las herramientas fallan de formas imprevistas
• Las tareas de largo recorrido acumulan pequeños errores
• El cambio de distribución desestabiliza los agentes en producción cada semana

• Constitutional AI (Anthropic)
• Auto-consistencia y cadenas de verificación
• Entrenamiento adversarial
• Desarrollo guiado por especificaciones

Los agentes actúan en nombre de los usuarios, pero el usuario, el agente y la empresa de IA pueden tener objetivos distintos. ¿Qué valores prevalecen cuando entran en conflicto?

• ¿Debería un agente rechazar una tarea legal pero poco ética?
• ¿Debería actuar en favor del bienestar a largo plazo contra los deseos a corto plazo?
• ¿Debería corregir la información errónea del usuario?

• RLHF — entrenar con preferencias humanas
• Constitutional AI — el modelo se autocritica según unos principios
• Debate — dos agentes argumentan y una persona actúa como juez
• Supervisión escalable — la IA ayuda a las personas a supervisar la IA

Es un problema específico de los agentes: incluso un LLM alineado puede desalinearse cuando recibe herramientas. El modelo «quiere» ayudar, pero el uso que hace de las herramientas pasa por alto la seguridad del usuario. Es un área de investigación activa en los principales laboratorios.

Los agentes que funcionan durante horas, días o meses siguen teniendo dificultades para recordar lo que era importante:

• Los almacenes vectoriales recuperan TEXTO, no comprensión
• Los resúmenes pierden detalles
• La memoria procedimental no generaliza
• No existe una buena forma de «fusionar» hechos contradictorios

• MemGPT / Letta — niveles de memoria explícitos
• Mezcla dispersa de expertos para el almacenamiento
• Pesos que se editan a sí mismos (entrenamiento durante la inferencia)
• Destilación de memoria episódica a semántica

Los agentes que planifican con cinco pasos de antelación son habituales; los planes de 50 pasos se desvían con frecuencia. La descomposición jerárquica ayuda, pero no resuelve el problema.

• Los planes se desvían con el tiempo
• Los fallos se acumulan
• Replanificar es costoso

Los agentes más avanzados cuestan entre 1 y 10 USD por tarea compleja. El precio debe reducirse entre 10 y 100 veces para permitir un uso ambiental por parte de los consumidores. Tendencias:

• Destilación a modelos más pequeños
• Hardware (Cerebras, Groq, Etched)
• Mejor enrutamiento y almacenamiento en caché

Los sistemas multiagente muestran una descoordinación emergente: los agentes pueden competir, mentir o confabularse cuando sus incentivos entran en conflicto. El diseño de mecanismos y la teoría de juegos están entrando en la pila tecnológica de los agentes.

Los benchmarks actuales apenas cubren el trabajo real en producción. La cobertura de tareas de cola larga, multimodales y de varios días es deficiente. Crear mejores benchmarks es una labor de investigación aún abierta.

• Los agentes acumulan datos personales: ¿cómo se protegen?
• Los agentes multiinquilino pueden filtrar datos entre usuarios
• Los modelos pueden memorizar datos confidenciales de entrenamiento
• La responsabilidad cuando los agentes toman decisiones perjudiciales sigue sin estar clara

El camino a seguir probablemente incluya:

• Mejor razonamiento durante la inferencia
• Una integración más estrecha de los enfoques simbólicos y neuronales
• Protocolos sólidos de coordinación multiagente
• Agentes verificables y auditables en ámbitos regulados
• Mejores primitivas human-in-the-loop

Los agentes actuales son sumamente útiles para muchas tareas, pero NUNCA se debe confiar en ellos para tomar decisiones autónomas de alto riesgo sin revisión humana. Diseñe teniendo en cuenta el límite entre «el agente ayuda» y «la persona aprueba».

Los agentes son el paradigma más trascendental del software desde la web. Créelos con cuidado. Evalúelos con honestidad. Proteja a los usuarios. Manténgase al día.

¿Cuál de estos sigue siendo un problema SIN RESOLVER en los agentes?