프롬프트만으로 충분한 경우

미세 조정을 시도하기 전에 프롬프트 작성을 귀무 가설로 취급하십시오. 현대의 최첨단 모델은 잠재 능력을 충분히 갖추고 있으므로 대부분의 작업은 가중치 업데이트 문제가 아니라 검색과 지시 문제입니다.

팀이 저지르는 비용이 큰 실수는 잘 구성된 프롬프트, 몇 가지 예시, 도구 접근만으로 추가 학습 비용 없이 해결할 수 있는 격차를 메우기 위해 성급하게 학습 실행으로 넘어가는 것입니다. 프롬프트 작성이 명확히 한계에 도달했음이 입증될 때만 미세 조정이 정당화됩니다.

• 프롬프트 작성은 요청마다 바뀌고, 미세 조정은 모델을 바꿉니다
• 프롬프트 작성은 몇 초 만에 되돌릴 수 있지만, 조정된 체크포인트는 확정된 산출물입니다
• 저렴하게 시작하고 근거가 있을 때만 단계적으로 확대하십시오

접근 방식을 단순히 비용만으로 비교하지 말고, 서로 독립적인 세 가지 비용 축으로 비교하십시오.

• 반복 비용 - 동작을 얼마나 빠르게 바꿀 수 있습니까? 프롬프트 작성은 몇 분, 미세 조정은 주기마다 몇 시간에서 며칠이 걸립니다.
• 추론 비용 - 프롬프트 작성은 모든 호출에서 긴 지시와 예시에 대해 토큰당 비용을 지불하지만, 조정된 모델은 해당 동작을 가중치에 통합하여 프롬프트를 줄일 수 있습니다.
• 유지 관리 비용 - 프롬프트는 소스 제어에 보관되고 감사할 수 있지만, 기본 모델이 더 이상 사용되지 않게 될 때마다 체크포인트를 다시 조정해야 합니다.

프롬프트 작성은 반복 비용과 유지 관리 비용에서 유리하고, 미세 조정은 높은 처리량에서 추론 비용을 줄이는 데 유리할 수 있습니다.

미세 조정의 추론 비용 논리는 규모 임계값을 넘을 때만 성립합니다. 손익분기점이 바뀌는 지점을 명시적으로 모델링해 보십시오. 호출마다 입력 토큰 2,000개를 추가하는 긴 소수 예시 프롬프트에는 반복 비용이 발생하지만, 조정된 모델은 학습 비용을 사용량 전체에 분산해 상쇄합니다.

트래픽이 손익분기점보다 적다면 소수 예시 프롬프트가 비용 면에서 확실히 더 저렴하고 또한 더 유연합니다.

프롬프트 작성의 가장 강력한 장점은 불확실성 속에서 선택할 수 있는 가능성입니다. 요구 사항은 계속 바뀝니다. 새로운 예외 사례, 정책 변경, 새로운 출력 필드가 생길 수 있습니다. 프롬프트를 사용하면 텍스트를 수정하면 되지만, 조정된 모델을 사용하면 데이터를 다시 수집하고 재학습해야 합니다.

작업 정의가 아직 계속 바뀌는 초기 제품 단계, 모호한 사양, 이해관계자의 잦은 변경이 있는 상황에서는 프롬프트 작성이 거의 항상 올바른 선택입니다. 목표가 더 이상 바뀌지 않을 때에만 가중치를 고정하십시오.

미세 조정이 필요하다고 느껴지는 많은 문제는 프롬프트 측 기법으로 해결할 수 있습니다.

• 형식 준수 - 학습이 아니라 구조화된 출력과 JSON 스키마 제약으로 해결합니다
• 분야별 어조 - 스타일 예시 블록과 명시적인 화법 설명을 함께 제공합니다
• 추론 깊이 - 분해, 사고 과정 연결 또는 계획 단계를 사용합니다
• 지식 격차 - 검색(RAG)은 사실을 주입하지만, 미세 조정은 오래된 사실을 모델에 굳혀 버립니다

프롬프트가 구조적으로 처리할 수 없는 경우에만 미세 조정을 고려하십시오. 예를 들면 지연 시간에 민감한 프롬프트 압축, 매우 독특한 형식, 강력한 지시에도 모델이 따르지 않는 동작이 이에 해당합니다.

흔히 발생하는 혼동이 있습니다. 팀이 검색해야 할 지식을 주입하기 위해 미세 조정을 하는 경우입니다. 미세 조정은 사실을 가르치는 데 적합하지 않습니다. 정보가 손실되고 업데이트 비용이 높으며, 학습 예시 사이를 환각으로 보간하기 쉽기 때문입니다.

경험칙: 격차가 모델이 무엇을 아는가에 관한 것이라면 검색을 사용하십시오. 격차가 모델이 어떻게 동작하는가에 관한 것이라면 미세 조정을 고려하십시오. 지식은 매일 바뀌지만 동작은 거의 바뀌지 않습니다.

프롬프트 작성이 충분하지 않다고 판단하기 전에 전체 단계를 모두 시도하십시오. 대부분의 팀은 두 번째 단계에서 포기합니다.

• 1단계: 명확한 지시 + 역할 + 명시적인 출력 계약
• 2단계: 예외 사례를 다루는 몇 가지 예시
• 3단계: 여러 번의 연결된 호출로 분해
• 4단계: 지식과 계산을 외부로 넘기기 위한 도구 사용 및 검색
• 5단계: 자기 비평 또는 검증기 실행 단계

학습에 사용하지 않은 평가 세트로 1~5단계를 모두 소진한 후에야 미세 조정을 정당화할 수 있습니다.

긴 프롬프트는 비용만 더 많이 발생시키는 것이 아니라 시간도 더 많이 소요합니다. 많은 모델 제공 스택에서는 입력 토큰이 첫 토큰까지 걸리는 시간을 좌우합니다. 4,000토큰의 지침과 예시가 결합된 프롬프트는 호출마다 측정 가능한 지연 시간 오버헤드를 발생시킵니다.

프롬프트 작성이 규모가 커졌을 때 실제로 불리해지는 경우는 바로 이것입니다. 긴 프롬프트의 동작과 100밀리초 미만의 응답을 모두 원한다면, 그 동작을 작은 조정 모델에 증류하는 것이 올바른 선택입니다. 다만 지연 시간 예산이 실제 요구 사항인지, 단순한 가정인지 확인하십시오.

첫 청구서가 아니라 산출물의 수명 전체에 걸친 TCO를 기준으로 결정하십시오. 조정된 체크포인트에는 다음과 같은 숨은 반복 비용이 따릅니다.

• 제공자가 기본 모델의 지원을 종료할 때마다 재조정해야 합니다. 보통 6~12개월마다 발생합니다
• 계속 유지해야 하는 데이터 처리 흐름과 라벨 지정 과정이 필요합니다
• 재조정할 때마다 성능 저하를 감지할 평가 환경이 필요합니다
• 버전 관리, 롤백, A/B 방식 서비스의 복잡성이 발생합니다

프롬프트 작성의 TCO는 대부분 텍스트 문서와 평가 세트로 구성됩니다. 기계 학습 운영 역량이 충분하지 않은 팀이라면, 이 비대칭성만으로도 예상보다 훨씬 오랫동안 프롬프트 작성이 더 유리합니다.

다음 질문 대부분에 YES라고 답할 수 있다면 프롬프트 작성만으로 충분합니다.

• 작업 사양이 아직 매달 바뀌고 있습니까?
• 사용량이 계산한 손익분기점 임계값보다 적습니까?
• 격차가 동작이 아니라 검색할 수 있는 지식에 해당합니까?
• 별도 평가 결과, 전체 최적화 단계를 거친 후 프롬프트 작성만으로도 수용 가능한 품질에 도달합니까?
• 프롬프트 길이를 고려해도 지연 시간 예산에 여유가 있습니까?
• 팀에 유지 관리되는 조정 및 평가 처리 흐름이 없습니까?

YES가 세 개 이상이면 프롬프트 작성을 계속 사용하고, 답변이 바뀔 때만 다시 검토하십시오.

결정을 감이 아니라 데이터로 표현하십시오. 작은 점수 계산 함수를 사용하면 팀이 사용량, 지연 시간, 사양 안정성과 같은 가정을 명시적으로 밝히게 되고, 나중에 권고 내용을 검토할 수 있습니다.

프롬프트 작성이 기본이고, 미세 조정은 다음 단계입니다. 사양이 계속 바뀌고, 사용량이 손익분기점보다 적으며, 격차가 동작이 아닌 지식에 해당하는 동안에는 프롬프트 작성을 계속 사용하십시오.

• 달러 금액만이 아니라 반복 작업, 추론, 유지 관리 비용을 함께 비교하십시오
• 미세 조정으로 비용을 절약할 수 있다고 가정하기 전에 사용량의 손익분기점을 계산하십시오
• 프롬프트 작성이 충분하지 않다고 판단하기 전에 전체 프롬프트 최적화 단계를 거치십시오
• 지식은 검색하고, 완고한 동작이나 지연 시간 때문에 프롬프트를 압축해야 하는 경우에만 미세 조정을 사용하십시오
• 기본 모델 지원 종료를 포함한 전체 수명의 TCO를 기준으로 판단하십시오