AI Prompt Engineering · 강의

파인튜닝이 필요한 경우

프롬프트 방식이 한계에 도달했음을 보여 주는 신호

파인튜닝이 필요한 경우은(는) CoddyKit의 무료 AI Prompt Engineering 강의입니다. 이것은 4개 중 2번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AI Prompt Engineering 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AI Prompt Engineering 강의에는 총 4개의 강의가 포함되어 있습니다.

미세 조정은 근거에 따른 결정입니다

프롬프트 작성이 한계에 도달했음을 보여 주는 데이터를 제시할 수 있을 때에만 미세 조정이 정당화됩니다. 시작점은 결코 막연한 추측이 아닙니다. 최적화 단계를 모두 거쳤는데도 가장 정직하게 구성한 프롬프트가 품질 기준보다 낮은 상태에서 정체되는, 학습에 사용하지 않은 평가 결과가 시작점입니다.

미세 조정은 유연성을 낮추는 대신 일관성, 호출당 비용 절감, 학습된 동작을 제공합니다
그 대가로 데이터 처리 흐름, 평가 환경, 기본 모델 변경에 따른 재조정이 필요합니다
프롬프트 작성으로 해결할 수 없었던 구체적인 실패를 명확히 말할 수 있어야 합니다

신호 1: 프롬프트의 정체

가장 명확한 신호는 고정된 평가 세트에서의 정체입니다. 예시를 추가하고, 작업을 분해하고, 검증기를 추가했는데도 오류가 무작위가 아니라 체계적으로 남아 있는 상태에서 점수가 더 이상 향상되지 않습니다.

체계적인 잔여 오류, 즉 모델이 같은 구성 요소를 계속 잘못 처리한다는 것은 지시만으로는 해당 동작을 끌어내기 어렵다는 뜻입니다. 이는 미세 조정에 적합한 문제입니다. 무작위로 흩어진 오류라면 대개 프롬프트나 데이터에 아직 잡음이 있다는 뜻이므로, 대신 계속 반복해서 개선하십시오.

# Track eval score vs prompt-iteration; flat tail = plateau
scores = [0.62, 0.71, 0.78, 0.79, 0.795, 0.796]  # diminishing returns
def plateaued(scores, window=3, eps=0.01):
    tail = scores[-window:]
    return (max(tail) - min(tail)) < eps

print(plateaued(scores))  # True -> prompting has stalled

신호 2: 프롬프트 길이가 제품이 됩니다

품질을 유지하기 위해 프롬프트가 수천 개의 토큰으로 이루어진 예시와 규칙까지 포함하게 되면, 학습된 동작을 흉내 내기 위해 모든 호출에서 지연 시간과 비용을 지불하고 있는 것입니다.

이 토큰들이 안정적이고 반복적인 동작, 즉 고정된 형식, 일관된 스타일, 라우팅 결정을 표현한다면 미세 조정으로 이를 가중치에 통합할 수 있습니다. 동작은 유지하면서 프롬프트를 몇 분의 일 크기로 줄일 수 있습니다. 이것이 프롬프트 증류이며, 가장 일반적으로 정당화되는 미세 조정 사용 사례입니다.

신호 3: 엄격한 지연 시간 또는 비용 한계

좁은 작업에서 더 큰 모델의 동작을 더 작고 빠르며 저렴한 모델이 따라 하도록 해야 한다면 미세 조정이 적합한 도구입니다. 큰 모델의 출력을 작은 조정 모델에 증류합니다.

다음 조건에서 이 방법이 정당화됩니다. 사용량이 손익분기점보다 많고, 지연 시간 예산이 빠듯하며, 작업 범위가 충분히 좁아 작은 모델이 이를 완전히 익힐 수 있어야 합니다. 이 조건을 벗어나면 공학적 오버헤드를 감수할 가치가 없습니다.

# Distillation data: teacher (big model) labels -> student (small) trains
def make_distill_pair(prompt, teacher_fn):
    completion = teacher_fn(prompt)  # high-quality big-model output
    return {'messages': [
        {'role': 'user', 'content': prompt},
        {'role': 'assistant', 'content': completion},
    ]}

신호 4: 독특한 형식 또는 스타일

어떤 출력은 매우 구체적이어서 대규모로 예시를 보여 주는 것보다 설명하는 데 더 많은 비용이 듭니다. 독점적인 DSL, 수천 개의 세부 규칙이 있는 조직 고유의 문체, 수많은 조건부 필드가 있는 엄격한 분야별 스키마가 그 예입니다.

형식 준수율이 거의 완벽해야 하고 규칙이 너무 많아 프롬프트에 열거하기 어렵다면, 수백 개의 예시가 설명문보다 패턴을 더 안정적으로 가르칩니다. 미세 조정은 암묵적 구조를 내재화하는 데 뛰어나며, 이러한 구조는 명시적인 지시만으로는 잘 전달되지 않습니다.

신호 5: 모델이 거부하는 동작

때때로 모델은 지시에 저항합니다. 금지한 단서를 계속 덧붙이거나, 무해한 작업을 거부하거나, 부하가 걸리면 기본 스타일로 되돌아가는 경우가 있습니다. 강력하고 반복적인 지시와 예시를 사용해도 이러한 동작을 안정적으로 억제할 수 없다면, 그 저항은 기본 가중치에 내장된 사전 성향입니다.

미세 조정으로 이러한 사전 성향을 덮어쓸 수 있습니다. 하지만 먼저 그 저항이 실제로 존재하는지, 아니면 프롬프트가 명확하지 않은 문제인지 확인하십시오. 저항의 원인을 잘못 판단하면 불필요한 학습 실행으로 이어집니다.

반대 신호: 미세 조정하지 말아야 할 때

잘못된 경보를 알아차리는 것도 똑같이 중요합니다. 다음과 같은 경우에는 미세 조정하지 마십시오(NOT).

격차가 지식에 해당합니다 - 대신 검색하십시오. 미세 조정은 오래되고 손실된 사실을 모델에 굳혀 버립니다
사양이 아직 매주 바뀝니다 - 계속 재학습하게 됩니다
정제된 예시가 수백 개보다 적습니다 - 신호가 너무 적고 과적합 위험이 높습니다
오류가 체계적이지 않고 무작위입니다 - 데이터나 프롬프트에 아직 잡음이 있습니다
평가 도구 체계가 없습니다 - 미세 조정이 실제로 도움이 되었는지 알 수 없습니다

데이터 준비 상태 관문

미세 조정의 품질은 데이터 품질에 의해 제한됩니다. 시작하기 전에 준비 상태 관문을 통과하십시오. 충분한 예시가 있고, 중요한 사례 전반에 균형 있게 분포하며, 레이블이 일관되고, 평가 점수를 부풀리는 데이터 누출이 없어야 합니다.

꼼꼼하게 선별한 수백 개의 예시가 잡음이 많은 수만 개의 예시보다 낫습니다. 레이블끼리 서로 일치하지 않으면 모델은 그 잡음을 학습합니다.

def data_ready(examples, min_n=300, max_dupe_ratio=0.05):
    n = len(examples)
    texts = [e['messages'][0]['content'] for e in examples]
    dupe_ratio = 1 - (len(set(texts)) / n)
    return n >= min_n and dupe_ratio <= max_dupe_ratio

# Returns False until you have enough deduped, curated examples

미세 조정 방법 선택

모든 조정이 전체 가중치 학습을 의미하는 것은 아닙니다. 신호에 맞는 방법을 선택하십시오.

LoRA / 어댑터 - 저렴하고 빠르며 되돌릴 수 있습니다. 스타일과 형식 증류에 적합합니다
전체 미세 조정 - 더 무겁지만, 성능이 뛰어난 공개 모델의 동작을 크게 바꿀 때 사용합니다
선호도 조정(DPO 방식) - 정답 완성문이 아니라 쌍별 양호/불량 판단을 보유한 경우에 사용합니다

신호가 요구하는 방법 중 가장 가벼운 방법부터 시작하십시오. LoRA 방식의 어댑터는 비용의 일부만으로도 대부분의 실제 운영 사례를 처리할 수 있습니다.

사전 확정 절차

학습 실행을 시작하기 전에 결과를 해석할 수 있도록 실험 조건을 확정하십시오.

모델이 학습 중에는 절대 보지 않을 별도 평가 세트를 고정합니다
그 세트에서 프롬프트만 사용했을 때의 최선의 기준선 점수를 기록합니다
목표 개선폭과 비용 상한을 미리 정합니다
롤백 방법을 정의합니다. 조정된 모델이 기준선을 목표만큼 넘지 못하면 프롬프트 방식을 출시합니다

사전에 확정한 기준선과 목표가 없으면 미세 조정이 비용을 감수할 만큼 가치 있었음을 입증할 수 없습니다.

신호 종합

신호를 하나의 진행 여부 판단 기준으로 결합하십시오. 프롬프트 작성이 plateaued 상태이고 AND 데이터가 준비되었으며 AND 격차가 동작에 해당할 때에만 미세 조정을 진행합니다. 어느 하나의 신호만 나타났다고 진행해서는 안 됩니다.

def should_fine_tune(plateaued, data_ready, gap_is_behavior,
                     spec_stable, has_eval_harness):
    return all([
        plateaued,        # prompting stalled on frozen eval
        data_ready,       # enough clean, deduped examples
        gap_is_behavior,  # not a knowledge gap (else use RAG)
        spec_stable,      # task definition has settled
        has_eval_harness, # can measure the lift
    ])

print(should_fine_tune(True, True, True, True, True))  # True -> proceed

빠른 확인

고정된 평가 세트에서 모델의 오류가 여러 유형의 입력에 걸쳐 무작위로 흩어져 있고, 예시를 조금 수정할 때마다 점수가 여전히 크게 상승합니다. 이는 미세 조정을 시작할 준비 상태에 대해 무엇을 의미합니까?

요약

직관이 아니라 근거를 바탕으로 미세 조정하십시오. 정당한 신호는 체계적인 오류를 동반한 진정한 정체, 제품이 되어 버린 프롬프트 길이, 엄격한 지연 시간 또는 비용 한계, 독특한 형식, 기본 모델이 저항하는 동작입니다.

반대 신호: 지식 격차, 계속 바뀌는 사양, 부족한 데이터, 무작위 오류, 평가 도구 체계의 부재
학습 전에 데이터 준비 상태 관문을 통과하십시오. 품질이 결과의 한계를 정합니다
신호가 요구하는 가장 가벼운 방법을 선택하십시오. 먼저 LoRA 방식을 고려합니다
고정된 평가 세트, 기준선, 목표 개선폭, 롤백 방법을 사전에 확정하십시오
정체 AND 데이터 준비 AND 동작 격차가 모두 성립할 때만 진행하십시오

자주 묻는 질문

“파인튜닝이 필요한 경우” 강의는 무료인가요?

네 — “파인튜닝이 필요한 경우” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 AI Prompt Engineering 강의 전체를 잠금 해제할 수 있습니다. AI Prompt Engineering 강의에는 총 4개의 강의가 포함되어 있습니다.

“파인튜닝이 필요한 경우”에서 뭘 배우나요?

프롬프트 방식이 한계에 도달했음을 보여 주는 신호 브라우저에서 직접 실행하는 실습 코드로 AI Prompt Engineering을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

AI Prompt Engineering을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 AI Prompt Engineering은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 2번째 강의입니다.

“파인튜닝이 필요한 경우” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 AI Prompt Engineering 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 AI Prompt Engineering 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← AI Prompt Engineering(으)로 돌아가기