AI Agents · 강의

성찰과 자기 비판 루프

각 단계가 끝날 때마다 모델에 '제대로 작동했나요? 다음에는 무엇을 해야 하나요?'라고 묻습니다 — 가장 저렴하게 신뢰성을 높이는 방법입니다.

성찰과 자기 비판 루프은(는) CoddyKit의 무료 AI Agents 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AI Agents 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AI Agents 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

성찰이란 무엇입니까

성찰은 에이전트가 자신의 과거 행동을 살펴보고 "무엇이 잘되었는가? 무엇이 잘되지 않았는가? 무엇을 다르게 해야 하는가?"라고 묻는 과정입니다.

에이전트의 신뢰성을 가장 저렴하게 높일 수 있는 방법입니다.

Reflexion 논문

Shinn 외 연구진은 2023년에 Reflexion을 소개했습니다. 각 실패한 시도 후 에이전트가 자기 비평을 작성하고 다음 시도를 위한 지침으로 사용합니다. 품질이 크게 향상되었습니다.

A Simple Reflection Loop

def with_reflection(task, max_attempts=3):
    reflections = []
    for attempt in range(max_attempts):
        result = agent.run(task, hints=reflections)
        if result.success:
            return result
        reflection = llm.invoke(f'''
Task: {task}
Attempt: {attempt + 1}
What went wrong: {result.error}

Reflect on what to do differently next time.
''').content
        reflections.append(reflection)
    return last_result

실패 없이 자기 비평하기

에이전트가 성공적인 출력도 자기 비평하게 할 수 있습니다.

critique_prompt = '''
Review your answer for:
1. Is it factually correct?
2. Is it complete?
3. Are there obvious improvements?

If improvements possible, return REVISE: <revised answer>.
Otherwise return ACCEPT.
'''

별도 모델을 비평가로 사용하기

비평에는 다른 모델을 사용하십시오.

공유된 편향을 줄입니다
더 저렴할 수 있습니다(작은 비평가, 큰 작성자)
반대 조합도 가능합니다(작은 작성자, 큰 비평가)

단계별 성찰

마지막뿐만 아니라 각 STEP 후에 성찰하십시오.

thought = 'I will use search_kb'
action = call_search_kb(...)
observation = '...'
reflection = llm.invoke(f'Did that step help? Should I try a different tool next?').content

비용 인식

성찰은 LLM call 횟수를 두 배로 늘립니다. 지연 시간이 중요한 경로에서는 생략하십시오. 높은 품질의 출력이 필요하다면 그만한 가치가 있습니다.

아첨하는 성찰 피하기

“이게 작동했나요?”라고 물으면 모델은 자주 “예”라고 답합니다. 비판적으로 평가하도록 강제하세요.

critique_prompt = 'List 3 SPECIFIC PROBLEMS with the previous answer. If you cannot find any, say WHY there are none.'

성찰 내용 저장

성찰 내용을 영구 저장소에 저장하세요. 여러 세션에 걸쳐 에이전트는 “학습한 교훈” 라이브러리를 구축합니다.

save_reflection({
    'task_type': 'sql-write',
    'lesson': 'Always check if table is partitioned before running heavy aggregations.',
    'created_at': now()
})

구체적인 성과

코드 에이전트 프롬프트에 “각 단계를 완료한 후 문제가 생길 수 있는 부분을 간단히 기록하고 다시 확인하세요”를 추가하면 벤치마크에서 일반적으로 버그 발생률이 15~30% 감소합니다.

검증자-생성기

변형 방식으로, 한 LLM이 생성하고 다른 LLM이 검증하게 하세요. 검증자가 거부하면 생성기는 거부 이유를 반영해 다시 시도합니다. 오늘날 많은 운영 환경의 에이전트에서 사용되는 방식입니다.

성찰하지 말아야 할 때(NOT)

이미 비용이 저렴한 단발성 작업
실시간 대화
지연 시간에 민감한 경로

Reflexion의 통찰

Reflexion 논문의 핵심 통찰은 무엇인가요?

복습

성찰은 저렴하게 품질을 높이는 방법입니다. 실패 후 비평하고, 교훈을 저장하며, 이후 유사한 작업에 이를 검색해 사용하세요. 가능하면 별도의 비평 모델을 사용하세요.

자주 묻는 질문