자기 일관성과 성찰

AI가 자신의 작업을 다시 확인해 주기를 바란 적이 있으신가요? 답변하기 전에 몇 가지 접근 방식을 시도해 보기를 바라신 적은요? 바로 자기 일관성과 성찰이 다루는 내용입니다.

이러한 고급 기법은 대규모 언어 모델(LLM)이 더욱 신뢰할 수 있고 정확한 출력을 생성하도록 돕습니다.

LLM은 강력하지만 여전히 실수를 하거나 사실을 '환각'하거나 하나의 추론 경로에 갇힐 수 있습니다. 다음 기법은 LLM의 일반적인 한계를 해결하는 데 도움이 됩니다.

• 환각: 거짓이거나 무의미한 정보를 생성하는 현상입니다.
• 추론 오류: 복잡한 문제 해결에서 논리가 잘못되는 현상입니다.
• 견고성 부족: 프롬프트 표현을 조금만 바꾸어도 결과가 달라지는 특성입니다.

자기 일관성과 성찰은 AI가 생성한 콘텐츠의 전반적인 품질과 신뢰성을 향상합니다.

자기 일관성은 LLM에 같은 질문에 대해 서로 다양하고 여러 개의 답변을 생성하도록 지시하는 프롬프트 기법입니다. 여러 선택지를 생성한 후 그중 가장 자주 나타나거나 서로 일치하는 답변을 선택합니다.

복잡한 문제에 대해 똑똑한 친구 여러 명에게 의견을 물은 다음 다수의 합의에 따르는 것과 비슷합니다. 이를 통해 하나의 오류가 발생할 가능성을 크게 줄일 수 있습니다.

LLM에 복잡한 수학 문장제 문제나 논리 퍼즐을 질문한다고 가정해 보십시오. 한 번만 시도하는 대신, 자기 일관성 기법을 사용하면 여러 번 시도하도록 유도할 수 있습니다.

• 시도 1: 하나의 추론 경로와 답변을 제시합니다.
• 시도 2: 조금 다른 추론 경로와 답변을 제시합니다.
• 시도 3: 또 다른 경로를 제시합니다...

5번의 시도 중 3번에서 같은 답변이 나오면 해당 답변이 더 견고하고 정답일 가능성이 높다고 판단합니다.

자기 일관성을 구현하려면 LLM이 여러 답변을 생성하도록 프롬프트에서 명확하게 지시해야 합니다. 시도 횟수와 답변을 제시하는 방식을 지정할 수 있습니다.

기본 구조는 다음과 같습니다.

성찰은 LLM이 자신의 이전 출력을 비판적으로 평가하는 것입니다. 성찰은 자기 수정 방식으로 작동하여 결함, 편향 또는 개선할 영역을 찾아낸 다음 수정하거나 다듬은 답변을 생성합니다.

이는 작업을 제출하기 전에 스스로 검토하여 오류를 찾아내고 생각을 다듬는 것과 비슷하며, 더 높은 품질의 최종 답변을 만들어 냅니다.

LLM에 짧은 이야기를 작성해 달라고 요청한다고 상상해 보십시오. 첫 번째 초안을 생성한 후, '이야기의 줄거리에서 허점과 등장인물의 일관성을 검토해 주세요' 또는 '묘사 표현을 개선해 주세요'라고 다시 요청할 수 있습니다.

그러면 LLM은 자신의 편집자처럼 행동하며 비판적인 페르소나를 취해 처음 만든 결과물을 향상합니다. 이러한 반복 과정은 훨씬 더 나은 콘텐츠로 이어집니다.

성찰은 일반적으로 여러 단계의 프롬프트 작성 과정으로 이루어집니다.

1. 1단계: 초기 생성 프롬프트입니다(예: 'X에 대한 단락을 작성해 주세요').
2. 2단계: LLM의 이전 출력을 포함하고 이를 비평하거나 개선하도록 요청하는 후속 프롬프트입니다.

후속 프롬프트를 구성하는 방법의 예시는 다음과 같습니다.

이러한 기법은 특히 복잡한 작업에서 더욱 견고한 결과를 얻기 위해 결합할 수 있습니다. 다음과 같이 진행할 수 있습니다.

• 자기 일관성을 사용해 여러 답변을 생성합니다.
• 그런 다음 각 답변에 성찰을 적용하여 다듬습니다.
• 마지막으로 여러 답변 중 가장 좋고 일관되며 잘 다듬어진 답변을 선택합니다.

이렇게 하면 강력한 피드백 순환이 만들어져 LLM의 신뢰성과 정확성이 크게 향상됩니다.

이 수업에서는 LLM 출력을 더 안정적이고 정확하게 만들기 위한 두 가지 강력한 고급 프롬프트 기법을 살펴보았습니다.

• 자기 일관성: 여러 답변을 생성한 다음 가장 자주 나타나거나 가장 안정적인 답변을 선택하여 단일 지점 오류를 완화합니다.
• 성찰: 반복적인 자기 수정을 통해 LLM이 자체 출력을 비판적으로 검토하고 개선하도록 안내합니다.

이러한 전략을 적용하면 인공지능이 생성한 콘텐츠의 품질, 견고성, 신뢰성을 크게 높일 수 있습니다.