Problemas em aberto: robustez, alinhamento e memória de longo prazo

Apesar do enorme progresso, problemas fundamentais dos agentes continuam UNSOLVED. Ter consciência deles ajuda você a delimitar o que é realista construir hoje.

Agentes que funcionam 99% das vezes ainda falham catastroficamente em casos extremos:

• Ataques de injeção de instruções são bem-sucedidos com frequência excessiva
• As ferramentas falham de maneiras inéditas
• Tarefas de longo horizonte acumulam pequenos erros
• Mudanças na distribuição fazem agentes em produção falharem toda semana

• IA constitucional (Anthropic)
• Autoconsistência e cadeias de verificação
• Treinamento com exemplos adversariais
• Desenvolvimento orientado por especificações

Os agentes agem em nome dos usuários, mas o usuário, o agente e a empresa de IA podem ter objetivos diferentes. Quais valores prevalecem quando entram em conflito?

• Um agente deve recusar uma tarefa legal, mas antiética?
• Ele deve agir em favor do bem-estar de longo prazo contra desejos de curto prazo?
• Ele deve corrigir a desinformação do usuário?

• RLHF — treinar com base nas preferências humanas
• IA constitucional — o modelo faz autocríticas com base em princípios
• Debate — dois agentes discutem, e humanos são os juízes
• Supervisão escalável — a IA ajuda humanos a supervisionar a IA

Algo específico dos agentes: até mesmo um LLM alinhado pode se tornar desalinhado quando recebe ferramentas. O modelo "quer" ajudar, mas seus atalhos no uso das ferramentas deixam a segurança do usuário em segundo plano. É uma área de pesquisa ativa em todos os grandes laboratórios.

Agentes que funcionam por horas, dias ou meses ainda têm dificuldade para se lembrar do que era importante:

• Armazenamentos vetoriais recuperam TEXT, não compreensão
• Resumos perdem detalhes
• A memória procedimental não generaliza
• Não há uma boa maneira de "mesclar" fatos entre contradições

• MemGPT / Letta — níveis explícitos de memória
• Mistura esparsa de especialistas para armazenamento
• Pesos autoeditáveis (treinamento no momento do teste)
• Destilação do episódico para o semântico

Agentes que planejam cinco etapas à frente são comuns; planos de 50 etapas regularmente saem dos trilhos. A decomposição hierárquica ajuda, mas não resolve o problema.

• Os planos se desviam com o tempo
• As falhas se acumulam
• Refazer o planejamento é caro

Agentes de última geração custam de US$ 1 a US$ 10 por tarefa complexa. Os preços precisam cair de 10 a 100 vezes para viabilizar o uso por consumidores em ambientes cotidianos. Tendências:

• Destilação para modelos menores
• Equipamentos (Cerebras, Groq, Etched)
• Melhor roteamento e armazenamento em cache

Sistemas multiagentes apresentam descoordenação emergente: os agentes podem competir, mentir ou conspirar quando seus incentivos entram em conflito. O desenho de mecanismos e a teoria dos jogos estão entrando na pilha de agentes.

Os testes de referência atuais mal abrangem o trabalho real em produção. A cobertura de tarefas de cauda longa, multimodais e de vários dias é fraca. Criar testes de referência melhores é um esforço de pesquisa em aberto.

• Os agentes acumulam dados pessoais: como eles são protegidos?
• Agentes multiusuário vazam dados entre usuários
• Os modelos podem memorizar dados confidenciais de treinamento
• A responsabilidade quando os agentes tomam decisões prejudiciais continua indefinida

O caminho a seguir provavelmente inclui:

• Melhor raciocínio no momento da inferência
• Integração mais estreita entre o simbólico e o neural
• Protocolos robustos de coordenação multiagente
• Agentes verificáveis e auditáveis em áreas regulamentadas
• Primitivas melhores de participação humana no circuito

Os agentes atuais são extremamente úteis para muitas tarefas, mas NEVER devem ser considerados confiáveis para decisões autônomas de alto risco sem revisão humana. Projete tendo em vista o limite entre "o agente ajuda" e "a pessoa aprova".

Os agentes são o paradigma mais importante do software desde a web. Desenvolva-os com cuidado. Avalie-os com honestidade. Proteja os usuários. Mantenha-se atualizado.

Qual destes ainda é um problema UNSOLVED em agentes?