미해결 과제: 견고성, 정렬, 장기 기억

엄청난 발전에도 불구하고 에이전트의 근본적인 문제는 여전히 해결되지 않았습니다. 이러한 문제를 이해하면 현재 현실적으로 무엇을 만들 수 있는지 범위를 설정하는 데 도움이 됩니다.

99%의 상황에서 작동하는 에이전트도 다음과 같은 예외적인 경우에는 치명적으로 실패합니다.

• 프롬프트 주입 공격이 지나치게 자주 성공합니다
• 도구가 예상하지 못한 방식으로 실패합니다
• 장기 작업에서는 작은 오류가 누적됩니다
• 분포 변화로 인해 운영 환경의 에이전트가 매주 문제를 일으킵니다

• 헌법적 AI(Anthropic)
• 자기 일관성 및 검증 연쇄
• 적대적 훈련
• 사양 중심 개발

에이전트는 사용자를 대신해 행동하지만 사용자, 에이전트, AI 회사의 목표가 서로 다를 수 있습니다. 이 목표들이 충돌할 때 누구의 가치관을 우선해야 할까요?

• 합법적이지만 비윤리적인 작업을 에이전트가 거부해야 할까요?
• 단기적인 바람과 반대로 장기적인 복지를 위해 행동해야 할까요?
• 사용자의 잘못된 정보를 바로잡아야 할까요?

• RLHF — 인간의 선호도를 바탕으로 훈련합니다
• 헌법적 AI — 모델이 원칙에 따라 스스로 비평합니다
• 토론 — 두 에이전트가 논쟁하고 인간이 판단합니다
• 확장 가능한 감독 — AI가 인간의 AI 감독을 돕습니다

에이전트에 특유한 문제입니다. 정렬된 LLM이라도 도구를 제공하면 비정렬 상태가 될 수 있습니다. 모델은 도움을 "원하지만", 도구 사용 방식이 사용자 안전을 뒷전으로 미룰 수 있습니다. 모든 주요 연구소에서 활발히 연구하는 분야입니다.

몇 시간, 며칠, 몇 달 동안 작동하는 에이전트도 무엇이 중요한지 기억하는 데 여전히 어려움을 겪습니다.

• 벡터 저장소는 이해가 아니라 TEXT를 회상합니다
• 요약 과정에서 세부 정보가 사라집니다
• 절차적 기억은 일반화되지 않습니다
• 서로 모순되는 사실을 "병합"할 좋은 방법이 없습니다

• MemGPT / Letta — 명시적인 기억 계층
• 저장을 위한 희소 혼합 전문가 모델
• 스스로 편집하는 가중치(테스트 시점 훈련)
• 에피소드 기억에서 의미 기억으로의 증류

5단계 앞까지 계획하는 에이전트는 흔하지만, 50단계 계획은 자주 실패합니다. 계층적 분해가 도움이 되지만 문제를 해결하지는 못합니다.

• 시간이 지나면서 계획이 변질됩니다
• 실패가 누적됩니다
• 계획을 다시 세우는 데 비용이 많이 듭니다

최첨단 에이전트는 복잡한 작업 하나를 수행하는 데 1~10달러가 듭니다. 일상적으로 사용하는 소비자 제품에 적용하려면 가격이 10~100배 낮아져야 합니다. 주요 추세는 다음과 같습니다.

• 더 작은 모델로의 증류
• 하드웨어(Cerebras, Groq, Etched)
• 더 나은 라우팅 및 캐싱

다중 에이전트 시스템에서는 예상하기 어려운 협력 실패가 나타납니다. 에이전트는 인센티브가 충돌할 때 서로 경쟁하거나 거짓말하거나 담합할 수 있습니다. 메커니즘 설계와 게임 이론이 에이전트 기술 스택에 도입되고 있습니다.

오늘날의 벤치마크는 실제 운영 환경의 작업을 거의 다루지 못합니다. 장기 작업, 다중 모달 작업, 여러 날에 걸친 작업에 대한 범위가 부족합니다. 더 나은 벤치마크를 구축하는 일은 아직 해결되지 않은 연구 과제입니다.

• 에이전트는 개인 데이터를 축적합니다. 이를 어떻게 보호해야 할까요?
• 다중 사용자 에이전트에서 사용자 간 데이터가 유출됩니다
• 모델이 민감한 훈련 데이터를 기억해 낼 수 있습니다
• 에이전트가 해로운 결정을 내렸을 때의 책임 소재가 여전히 명확하지 않습니다

앞으로 나아가는 길에는 다음과 같은 요소가 포함될 가능성이 큽니다.

• 추론 시점의 더 나은 추론 능력
• 기호적 방법과 신경망 방법의 긴밀한 통합
• 견고한 다중 에이전트 협력 프로토콜
• 규제 대상 분야에서 검증 가능하고 감사 가능한 에이전트
• 더 나은 인간 참여형 기본 기능

오늘날의 에이전트는 많은 작업에 매우 유용하지만, 인간의 검토 없이 중요한 자율적 결정을 내리는 데에는 NEVER 신뢰해서는 안 됩니다. "에이전트가 돕는" 단계와 "인간이 승인하는" 단계의 경계를 고려하여 설계하십시오.

에이전트는 웹 이후 소프트웨어에서 가장 큰 영향을 미치는 패러다임입니다. 신중하게 구축하십시오. 정직하게 평가하십시오. 사용자를 보호하십시오. 최신 동향을 계속 파악하십시오.