긴 컨텍스트가 확장되지 않는 이유

최신 모델은 200k, 1M, 심지어 2M 토큰에 이르는 거대한 컨텍스트 창을 제공합니다. 실제 메모리를 구축하는 대신 “그냥 전부 넣어 버리고” 싶은 유혹을 느낄 수 있습니다.

하지만 이 방식은 프로덕션에서 세 가지 이유로 실패합니다.

모든 호출의 모든 토큰에는 비용이 발생합니다. 100k 토큰의 시스템 프롬프트를 1000턴 동안 사용하면 입력 토큰이 100M개가 되어, 세션당 수십 달러가 듭니다.

프롬프트 캐싱이 도움이 되지만 비용을 없애지는 못합니다.

입력 토큰 100k개를 처리하면 첫 토큰까지 걸리는 시간에 1~3초가 추가됩니다. 채팅 사용자 경험에서는 TTFT를 500ms 미만으로 유지하는 것이 좋습니다.

모델은 긴 프롬프트의 중간에 있는 내용에 덜 주의를 기울입니다. 이는 Liu 외 연구진이 2023년에 문서화한 “중간에서 잊히는” 효과입니다.

시작이나 끝에 있는 정보는 정확하게 회상하지만, 중간에 있는 정보는 자주 놓칩니다.

긴 문서의 서로 다른 위치에 고유한 사실을 삽입한 다음, 모델에게 해당 사실을 찾아보라고 요청하세요. 정확도는 다음과 같습니다:

• 문서 시작: 95%
• 문서 끝: 90%
• 중간: 50~70%

긴 컨텍스트는 일회성 작업(전체 코드베이스 분석 등)에는 유용하지만, 지속적으로 실행되는 프로덕션 에이전트에는 적합하지 않습니다.

프로덕션에서는 검색을 사용해 매 턴마다 관련 있는 5%만 주입하세요.

• 초기 코드베이스 분석
• 한 번의 호출로 전체 문서에 대해 질문하고 답하기
• 두 개의 긴 문서 비교

대화 재현 없이 한 번만 수행하는 작업입니다.

• 수백 턴에 걸친 챗봇
• 여러 사용자가 공유하는 다중 테넌트 에이전트
• 비용이나 지연 시간이 중요한 모든 경우

장시간 실행되는 에이전트에는 다음 방식을 사용하세요:

1. 최근 턴은 프롬프트에 포함합니다(마지막 10~20턴).
2. 이전 턴은 누적 요약으로 요약합니다.
3. 사실은 장기 기억에 벡터화해 저장합니다.
4. 매 턴마다 관련성이 가장 높은 상위 K개의 기억을 검색합니다.

여러 기법을 결합하세요:

언제 압축할지 WHEN 결정하세요:

• N턴마다(간단함)
• 토큰 수가 임계값을 초과할 때(더 나음)
• 모델이 잊기 시작할 때(가장 좋지만 감지하기 어려움)

컨텍스트를 한도까지 늘리는 방식으로 메모리 문제를 해결하지 마세요. 요약과 검색을 사용해 매 턴마다 중요한 내용을 드러내세요.