제로 샷, 원 샷, 퓨 샷

샷은 실제 질의 전에 프롬프트에 배치되는 라벨이 지정된 예시의 수를 의미합니다. 제로샷은 모델이 사전 학습을 통해 형성한 사전 지식에 전적으로 의존합니다. 퓨샷은 가중치를 업데이트하지 않고 추론 시점에 모델을 작은 작업별 분포에 맞춥니다.

이를 컨텍스트 내 학습(ICL)이라고 합니다. 트랜스포머는 예시를 시퀀스의 일부로 취급하고, 예시에 대해 메타 학습된 회귀와 유사한 작업을 암묵적으로 수행합니다. k(샷의 수)는 경험적으로 조정하는 하이퍼파라미터이지, 고정된 모범 사례가 아닙니다.

작업이 사전 학습에 잘 반영되어 있고(요약, 번역, 일반적인 분류), 예시가 출력 형식에 편향을 일으킬 수 있다면 제로샷을 사용하십시오. 지시 사항을 따르도록 조정된 모델에서는 간결한 지시문과 출력 스키마를 함께 제시하는 편이, 스타일을 미묘하게 고정하는 예시보다 효과적인 경우가 많습니다.

제로샷은 토큰 비용과 지연 시간도 최소화하며, 모델이 데모에서 가장 많은 비중을 차지하는 분류를 과도하게 예측하는 다수 레이블 편향도 피할 수 있습니다.

원샷은 작업의 개념은 명확하지만 출력 형식이 특이하거나 엄격할 때 특히 효과적입니다. 단 하나의 데모만으로도 산문 설명보다 정확한 형식(JSON 키, 구분자, 대소문자)을 훨씬 안정적으로 학습시킬 수 있습니다.

토큰을 많이 사용하거나 여러 예시가 초래하는 레이블 분포의 치우침을 감수하지 않고 구조를 제한하고 싶다면 원샷을 사용하십시오.

k에 따른 성능은 거의 단조롭게 증가하지 않습니다. 일반적으로 예시가 문맥을 빽빽하게 채우고, 주의를 분산시키며, 실제 질의를 모델의 최근 정보 집중 지점에서 더 멀리 밀어낼수록 성능은 상승하다가 정체된 후 저하됩니다.

보류 데이터 세트에서 {1, 2, 4, 8, 16}의 k를 경험적으로 바꾸어 가며 확인하십시오. 최적의 k는 작업의 복잡도, 예시의 길이, 모델의 실질적인 문맥 활용률에 따라 달라지며, 이 활용률은 대개 모델에 명시된 문맥 창보다 훨씬 낮습니다.

연구에서는 ICL을 모델이 암묵적인 베이즈 추론을 수행하는 과정으로 설명합니다. 데모는 모델이 사전 학습 중에 이미 학습한 잠재적인 작업 개념을 찾도록 돕습니다. 예시는 새로운 지식이 아니라 작업에 대한 사후 분포의 범위를 좁히는 증거로 작용합니다.

이 관점은 직관에 반하는 결과를 설명합니다. 데모의 레이블이 잘못되었더라도 정확도가 상당 부분 유지될 수 있는데, 지배적인 신호가 입력과 레이블의 대응 자체가 아니라 형식과 레이블 공간이기 때문입니다.

모든 샷은 문맥과 비용을 소모합니다. 데모가 길면 예시 네 개만으로도 질의보다 훨씬 커질 수 있습니다. 정확도 포인트당 비용 지표를 계산하십시오. k=8이 k=4보다 정확도를 0.5% 높이는 대신 토큰을 두 배 사용한다면, 운영 환경에서는 k=4가 더 나은 선택입니다.

처리량이 높은 처리 과정에서는 고정된 예시 블록을 프롬프트 캐시에 저장하십시오. 그러면 반복되는 데모를 한 번만 과금하고 처리할 수 있습니다.

퓨샷 프롬프트에는 숨은 편향이 있습니다. 다수 레이블 편향은 모델이 데모에서 가장 자주 등장하는 분류를 선호하게 만듭니다. 최근성 편향은 마지막 예시에 과도한 가중치를 둡니다. 빈번한 토큰 편향은 자주 나타나는 토큰을 선호하게 만듭니다.

문맥 보정과 같은 보정 기법은 내용이 없는 입력(예를 들어 N/A 토큰)에 대한 모델의 사전 분포를 추정한 뒤 그 영향을 나눠 제거하여, 퓨샷 분류기의 안정성을 크게 높입니다.

다수 레이블 편향을 완화하려면 데모 전체에서 분류별 비중을 균형 있게 맞추고 순서도 바꾸십시오. k=4인 이진 분류에서는 3:1 대신 양성 예시 2개와 음성 예시 2개를 섞어 사용하십시오.

생성 작업에서는 중요한 차원(길이, 어조, 난이도)을 기준으로 균형을 맞추십시오. 그러면 모델이 가장 자주 본 하나의 방식으로만 수렴하는 것을 막을 수 있습니다.

작업이 자주 바뀌거나 데이터가 부족하거나 조정된 모델을 호스팅할 수 없다면 퓨샷이 적절한 도구입니다. 미세 조정은 수천 개의 예시가 있고 호출당 지연 시간을 최소화해야 하거나, 형식을 모델에 내장하여 프롬프트를 짧게 유지하고 싶을 때 더 효과적입니다.

일반적인 운영 경로는 다음과 같습니다. 퓨샷으로 시제품을 만든 다음 성공한 추론 기록을 수집하고, 이를 미세 조정에 증류하여 예시 토큰을 완전히 제거합니다.

여러 단계의 추론에서는 단순한 퓨샷 답변 쌍이 오히려 해가 될 수 있습니다. 모델이 정당화할 수 없는 답변으로 곧장 건너뛰는 법을 학습하기 때문입니다. 퓨샷을 최종 레이블만이 아니라 추론 과정을 보여 주는 사고 과정 데모와 함께 사용하십시오.

샷의 수는 추론의 깊이와 상호 작용합니다. 산술 및 논리 벤치마크에서는 고품질 사고 과정 예시 k=2개가 답변만 있는 예시 k=8개보다 좋은 경우가 많습니다.

샷 선택을 harness로 뒷받침되는 경험적 탐색으로 다루십시오. 검증 세트를 따로 보관하고, 여러 시드로 예시 순서를 통제하며, 평균과 분산을 보고하십시오. 순서만 바뀌어도 퓨샷 정확도가 몇 포인트씩 변할 수 있기 때문입니다.

최종 선택이 정확도만이 아니라 전체 목표를 최적화하도록 k별 토큰 수와 지연 시간을 기록하십시오.

샷 선택과 ICL 편향에 대한 이해도를 확인해 보십시오.

핵심 요점:

• k는 조정할 수 있는 하이퍼파라미터이므로 여러 값으로 바꾸어 가며 상승-정체-저하 곡선을 관찰하십시오.
• 제로샷은 잘 알려진 작업에 적합하고, 원샷은 엄격한 형식의 기준을 잡으며, 퓨샷은 작업 분포를 조건으로 사용합니다.
• ICL은 사전 학습된 작업을 찾아 작동하므로, 레이블의 정확성보다 형식과 레이블 공간이 더 큰 영향을 줍니다.
• 균형 맞추기, 섞기, 문맥 보정으로 다수 레이블 편향, 최근성 편향, 빈번한 토큰 편향에 대응하십시오.
• 정확도 대비 비용을 최적화하고, 추론 작업에는 사고 과정 예시를 함께 사용하며, 안정적인 퓨샷 프롬프트를 미세 조정 모델로 증류하십시오.