하이브리드: 프롬프트와 가벼운 튜닝

프롬프트 작성과 미세 조정은 경쟁 관계가 아니라 계층입니다. 전문가가 사용하는 패턴은 안정적이고 학습된 동작을 처리하도록 가볍게 미세 조정한 모델을 사용하고, 그 바깥에 요청마다 변하는 맥락을 제공하는 얇은 프롬프트를 두는 것입니다.

• 미세 조정은 안정적인 것을 흡수합니다. 형식, 화법, 작업의 틀
• 프롬프트 작성은 변동성이 큰 것을 제공합니다. 지시, 검색된 사실, 사용자 상태
• 각 계층은 자신이 가장 잘하는 일을 담당하며, 어느 한쪽도 전체 부담을 지지 않습니다

하이브리드의 핵심 역량은 동작을 안정성/변동성 축에 따라 나누는 것입니다. 호출 간 동일하고 프롬프트에서 반복하기에 비용이 큰 것은 무엇이든 튜닝 후보입니다. 호출마다 바뀌는 것은 프롬프트에 남겨야 합니다.

이 분할을 어느 한쪽으로든 잘못하면 손해를 보게 됩니다. 변동하는 내용을 가중치에 넣으면 이를 바꿀 때마다 다시 튜닝해야 하고, 안정적인 내용을 프롬프트에 남겨 두면 그 토큰 비용을 계속 지불해야 합니다.

가장 가치 있는 하이브리드 패턴입니다. 길고 품질이 높은 프롬프트를 작성하고, 이를 사용해 정답 수준의 완성 결과를 생성한 다음, 짧은 프롬프트로 이러한 완성 결과를 학습하도록 모델을 튜닝합니다.

그 결과 모델은 여전히 긴 프롬프트가 있는 것처럼 동작하지만, 제공할 때는 토큰의 일부만 사용합니다. 비용이 큰 프롬프트는 교사가 되고, 비용이 적은 프롬프트는 실행 시 인터페이스가 됩니다. 지연 시간, 비용, 일관성이 모두 한 번에 개선됩니다.

모델이 항상 올바른 형식을 출력하도록 튜닝하십시오. 엄격한 스키마, 조직 고유의 문체, 특정 도메인의 DSL 등을 따르게 하고, 각 요청의 구체적인 내용은 프롬프트가 전달하게 하십시오.

형식 준수가 거의 완벽해야 하고 규칙이 너무 많아 일일이 열거하기 어렵지만 실제 내용은 완전히 동적인 경우에 적합합니다. 튜닝된 모델이 구조를 두고 더 이상 문제를 일으키지 않으므로, 프롬프트 토큰을 지시와 검색된 문맥에 활용할 수 있습니다.

다단계 시스템에서는 범위가 좁고 처리량이 높은 결정(분류, 라우팅, 추출)을 작고 빠른 모델에 튜닝하고, 자유로운 추론이 필요한 단계에는 큰 프롬프트 기반 모델을 유지하십시오.

작은 튜닝 모델이 적합한 좁은 작업에서는 비용과 지연 시간을 줄이고, 범위가 넓은 작업에서는 프롬프트의 유연성을 얻을 수 있습니다. 라우터는 안정적으로 튜닝하고, 전문가 모델은 요구사항이 바뀌어도 프롬프트로 조정할 수 있게 유지합니다.

튜닝된 모델을 사용하더라도 지식은 학습시키지 말고 검색된 상태로 유지해야 합니다. 하이브리드 모델은 문맥을 어떻게 사용할지 학습하고, 프롬프트는 이번 요청에 어떤 문맥이 필요한지 제공합니다.

하이브리드가 오래 유효한 이유가 바로 여기에 있습니다. 기본 동작은 가중치에 고정되지만, 검색을 통해 사실 정보는 호출할 때마다 최신 상태로 바뀝니다. 동작은 드물게 재튜닝하면서도 지식은 학습 비용 없이 계속 업데이트할 수 있습니다.

하이브리드에서는 가벼운 튜닝이 적합합니다. LoRA 방식의 어댑터는 소수의 추가 매개변수만 학습하고 기본 모델은 고정된 상태로 둡니다. 비용이 적고 반복 개선이 빠르며 여러 개를 조합할 수 있습니다.

• 하나의 기본 모델 위에서 여러 작업에 사용할 어댑터를 학습합니다
• 기본 모델을 다시 불러오지 않고 서비스 제공 시 어댑터를 교체합니다
• 동작이 변하면 며칠이 아니라 몇 시간 안에 어댑터를 재학습합니다

이렇게 하면 튜닝의 일관성이라는 이점을 얻으면서도 프롬프트 방식에 가까운 반복 개선 속도를 유지할 수 있습니다.

하이브리드에서 흔히 발생하는 버그는 모델이 X를 수행하도록 튜닝되었는데도 프롬프트가 여전히 X를 지시하는 경우입니다. 이렇게 중복된 프롬프트 토큰은 증류의 취지를 무너뜨리고, 학습된 동작과 충돌할 수도 있습니다.

튜닝한 후에는 가중치에 이미 포함된 내용을 프롬프트에서 과감하게 줄이십시오. 줄인 뒤 평가를 다시 실행하여 중복 지시 없이도 튜닝된 동작이 유지되는지 확인하십시오.

하이브리드에는 서로 연결된 두 가지 산출물이 있습니다. 어댑터 버전과 프롬프트 템플릿 버전입니다. 이 둘은 함께 버전을 관리하고 배포해야 합니다. 어댑터 v3에 맞춰 작성한 프롬프트가 어댑터 v4에서는 잘못 동작할 수 있기 때문입니다.

설정에서 두 버전의 조합을 고정하고, 실제로 배포할 정확한 조합으로 평가를 실행한 다음, 두 버전을 함께 롤백하십시오. 이 둘을 독립적으로 다루는 것이 감지하기 어려운 하이브리드 성능 회귀의 가장 흔한 원인입니다.

변동하는 동작이 프롬프트에 있으므로 잘 구축된 하이브리드는 드물게 재튜닝하면 됩니다. 주로 기본 모델의 지원이 중단되거나 안정적인 동작 자체가 실제로 바뀔 때 재튜닝합니다. 일상적인 변경은 학습 비용 없이 프롬프트 계층에서 처리됩니다.

자주 재튜닝하고 있다면 안정성/변동성 분할이 잘못된 것입니다. 변동하는 내용이 가중치에 들어간 것입니다. 해당 내용을 프롬프트로 되돌리십시오.

전체 흐름은 다음과 같습니다. 문맥을 검색하고, 튜닝된 어댑터를 사용해 짧은 프롬프트를 구성한 다음, 가중치가 학습된 형식을 제공하게 합니다. 지식과 지시는 동적으로 유지하고, 구조와 문체는 모델에 내장합니다.

하이브리드 = 안정적인 동작은 튜닝하고, 변동하는 문맥은 프롬프트로 전달하는 방식입니다. 동작을 안정성/변동성 축에 따라 나누고 각 계층이 가장 잘하는 일을 맡기십시오.

• 프롬프트 증류: 긴 프롬프트가 가르치고 짧은 프롬프트가 실행을 담당합니다
• 형식에는 튜닝을, 내용에는 프롬프트를 사용하고, 라우터는 튜닝하며 전문가 모델은 프롬프트로 조정합니다
• 지식은 검색에 두어 하이브리드가 오래 유효하게 합니다
• 반복 개선 속도를 위해 가벼운 LoRA 방식의 어댑터를 우선 사용합니다
• 중복 지정된 지시를 줄이고 어댑터와 프롬프트를 한 쌍으로 버전 관리합니다
• 재튜닝이 잦다면 변동하는 내용이 가중치에 들어간 것이므로 다시 프롬프트로 옮깁니다