프롬프트보다 미세 조정이 효과적인 경우

미세 조정을 시도하기 전에 항상 프롬프트 개선을 충분히 활용하세요.

1. 더 나은 시스템 프롬프트
2. 소수 예시
3. 도구 설명
4. 더 나은 모델
5. 구조화된 출력 / Pydantic
6. RAG
7. … THEN 미세 조정

• 특정 형식 또는 스타일 — 맞춤형 YAML 출력 언어
• 좁은 분야 — 의료, 법률, 코드 검토
• 지연 시간 — 짧은 프롬프트(소수 예시 없음)로 더 빠른 추론
• 비용 — 짧은 프롬프트로 청구되는 토큰 감소
• 일관된 페르소나 — 캐릭터의 말투, 브랜드 어조

• 사실 학습 — RAG가 더 낫습니다. 미세 조정은 사실을 잊습니다
• 일반적인 추론 — 최첨단 모델은 이미 뛰어납니다
• 잦은 업데이트 — 재학습은 느립니다
• 아주 작은 데이터 세트 — 예시가 100개 미만이면 효과가 거의 없는 경우가 많습니다

OpenAI와 Anthropic은 모두 미세 조정 API를 제공합니다.

Llama/Mistral/Qwen에서는 모든 것을 직접 제어할 수 있습니다. 도구는 다음과 같습니다.

• Unsloth — 가장 빠르고 VRAM 사용량이 적음
• Axolotl — 설정 중심이며 기능이 종합적임
• LLaMA-Factory — 중국 팀이 만든 대안
• HuggingFace TRL — 공식적이고 유연함

두 가지 접근 방식이 있습니다.

• 전체 미세 조정 — 모든 가중치를 업데이트합니다. 비용이 많이 들며 대용량 VRAM이 필요합니다.
• PEFT / LoRA — 아주 작은 어댑터 계층을 학습합니다. 비용은 100분의 1 수준이고 대부분의 작업에서 품질은 비슷합니다.

대략적인 비용(2025년 중반 기준)은 다음과 같습니다.

• 학습: 토큰 1,000개당 $0.003
• 조정된 모델의 추론: 기본 모델보다 다소 비쌈
• 수만 개의 예시: 총 학습 비용 $20~200

Lambda Labs에서 8xH100을 한 시간 사용하는 비용은 약 $100입니다. 10,000개 샘플로 Llama 70B에 LoRA를 적용하면 총비용은 약 $50~150입니다.

• 예시 50개 — 스타일 또는 형식에만 유용
• 예시 500개 — 의미 있는 개선
• 예시 5,000개 이상 — 새로운 능력이 크게 향상
• 예시 50,000개 이상 — 데이터 세트 품질에 비해 수익이 감소

1. 수정 사항이 포함된 운영 추적 기록
2. 더 강력한 모델을 통한 합성 생성
3. 사람의 라벨링
4. 공개 데이터 세트

항상 YOUR 평가 세트에서 조정한 모델과 기본 모델의 성능을 비교 평가하십시오. 조정한 모델이 더 나쁠 때도 있으므로 버릴 준비를 하십시오.

미세 조정을 해야 하는 BEST 이유는 무엇입니까?

먼저 프롬프트를 사용하고, 제한적인 형식·스타일·도메인상의 이유가 있을 때만 미세 조정하십시오. 비용을 줄이려면 PEFT/LoRA를 사용하십시오. 항상 전후로 평가하십시오.