에이전트 추론(o1, o3, 추론 모델)

OpenAI o1(2024년 9월)은 눈에 보이는 answer를 내놓기 전에 단계적으로 명시적 추론을 수행하는 LLM인 "추론 모델"을 선보였습니다. 후속 모델로는 o3, DeepSeek R1, 확장 사고 기능을 갖춘 Claude, Gemini 2.5 thinking 등이 있으며 그 밖에도 많습니다.

모델은 answer를 즉시 생성하는 대신 다음과 같이 작동합니다:

1. 긴 내부 "사고" 과정(CoT 방식)을 생성합니다
2. 여러 접근 방법을 탐색합니다
3. 스스로 수정합니다
4. 그런 다음 최종적으로 보이는 answer를 출력합니다

모델이 얼마나 많은 "사고"를 수행할지 선택할 수 있습니다. 사고에 더 많은 토큰을 사용할수록 어려운 문제에서 더 나은 answer를 얻을 수 있습니다. 그 대가로 지연 시간과 비용이 증가합니다.

• 여러 단계의 수학 문제
• 복잡한 논리를 사용하는 코드 생성
• 법률 / 과학적 추론
• 앞을 내다봐야 하는 계획 수립

벤치마크에서 o3는 AIME에서 90%를 넘는 점수를 기록하고 GPQA에서도 높은 점수를 얻어 비추론 모델을 크게 앞섭니다.

• 단순한 대화 / 질의응답 — 추론이 낭비됨
• 지연 시간이 중요한 경로 — 추론으로 몇 초가 추가됨
• 비용에 민감한 대량 작업 — 추론으로 비용이 배가됨
• 스타일 / 서식 작업 — 이점이 없음

추론 토큰도 요금에 포함됩니다. o3-mini를 높은 노력 수준으로 사용하면 질문 하나에 10,000~100,000개의 사고 토큰을 사용할 수 있습니다. 대형 추론 모델에서는 질문 하나당 0.10~1달러가 될 수 있습니다.

더 큰 에이전트 안에서 추론 모델을 계획 수립기로 사용하는 경우:

• 추론 모델: 계획 수립 / 결정 / 평가
• 표준 model: 단계 실행
• 도구 호출: 평소처럼 run

두 방식의 장점을 모두 얻을 수 있습니다. 중요한 부분에서는 깊이 추론하고, 나머지 실행은 저렴하게 처리합니다.

추론 모델에는 더 이상 "단계별로 생각해 보자"라는 프롬프트가 필요하지 않습니다. 이미 내부적으로 CoT를 수행하기 때문입니다. 이를 추가하면 오히려 성능이 저하될 수 있습니다.

DeepSeek R1, R1-Distill 등은 오픈 가중치 모델에 추론 기능을 제공합니다. HuggingFace, Together AI 등에서 사용할 수 있습니다.

• 성찰 조정 — 모델이 스스로 비판하도록 학습함
• 검색 기반 추론 — 추론 시 사고 트리와 MCTS를 사용함
• 추론 시 학습 — 질의마다 가중치를 조정함

추론 모델의 "사고"는 일반적으로 사용자에게 숨겨져 있거나(OpenAI), 요약되어 제공됩니다(Anthropic). 투명성이 제한되므로 디버깅이 더 어려워집니다. 대신 입력/출력 평가에 의존하십시오.

추론 모델(o1, o3, R1, Claude 확장 사고)은 어려운 작업에서 시간과 비용을 더 사용해 품질을 높입니다. 에이전트 내부에서 계획 수립기나 평가자로 사용하십시오. 단순한 대화에는 사용하지 마십시오.