의사 결정 평가

프롬프트 방식, 튜닝 방식, 하이브리드 방식 중 무엇을 선택할지는 그 선택을 뒷받침하는 평가만큼만 정확합니다. 고정된 평가 세트와 비용 모델이 없으면 모든 비교는 일화적인 주장에 불과합니다.

• 품질과 비용은 두 축이므로 너무 일찍 하나의 숫자로 합치지 마십시오
• 평가 세트는 분리해 두고 비교하는 모든 접근 방식에서 동일하게 유지해야 합니다
• 승자는 주어진 제약 조건에서 품질-비용 경계의 가장 적합한 지점에 있는 접근 방식입니다

무엇이든 비교하기 전에 어떤 접근 방식도 학습에 사용하지 않는 분리 평가 세트를 구성하십시오. 실제 분포를 반영해야 하므로 일반적인 사례, 알려진 경계 사례, 적대적 입력을 운영 환경과 대략 같은 비율로 포함해야 합니다.

이 세트를 고정하십시오. 프롬프트만 사용하는 방식, 튜닝 방식, 하이브리드 방식 등 모든 접근 방식을 동일한 세트로 평가합니다. 비교할 때마다 평가 세트가 달라지면 수치를 비교할 수 없고 결정도 잘못됩니다.

일반적인 정확도는 작업별 실패를 가립니다. 실제로 중요한 요소를 포착하는 지표를 선택하십시오.

• 구조화된 출력에는 정확 일치/스키마 일치
• 자유 형식 품질에는 루브릭 기반 LLM 심사를 사용하고 사람이 검토한 표본을 함께 확인합니다
• 꼬리 지표 — mean만이 아니라 최악의 경우와 p95를 확인합니다
• 안전/거부율은 엄격한 통과 기준으로 삼고 품질과 별도로 평가합니다

치명적인 최악의 경우를 숨기는 mean 점수는 잘못된 결정으로 이어집니다.

프롬프트만 사용하는 방식, 튜닝 방식, 하이브리드 방식을 동일한 고정 세트에 동일한 평가기로 평가하십시오. 비교가 동일 조건에서 이루어지도록 각각의 품질과 전체 비용 벡터를 기록하십시오.

비용은 하나의 숫자가 아닙니다. 실제 사용량에서 비교가 현실을 반영하도록 모든 구성 요소를 기록하십시오.

• 호출당 추론: 입력 및 출력 토큰 수에 단가를 곱한 값입니다. 프롬프트가 길수록 호출당 비용이 커집니다
• 학습 비용 상각: 튜닝 비용을 예상 요청량에 나누어 반영합니다
• 유지 관리: 데이터 pipeline, 평가 실행, 기본 모델 변경에 따른 재튜닝을 포함합니다
• 지연 시간: 전환율이나 사용자 경험에 영향을 줄 때 별도로 비용을 반영합니다

각 후보의 품질과 월간 비용을 구했다면 이를 경계 위에 표시하십시오. 다른 후보가 더 높은 품질과 더 낮은 비용을 모두 제공한다면 해당 후보는 지배되는 것이므로 제외하십시오.

비지배 후보 중에서 올바른 선택은 제약 조건에 따라 달라집니다. 품질 기준을 충족하는 후보 중 가장 저렴한 것을 선택하거나, 비용 상한 안에서 품질이 가장 높은 것을 선택하십시오. 이제 결정은 선호의 문제가 아니라 명확하고 설명 가능한 판단이 됩니다.

200개 예제로 구성된 평가에서 2점 상승한 결과는 잡음일 수 있습니다. 승자를 선언하기 전에 평가 규모를 고려할 때 품질 차이가 통계적으로 의미 있는지 확인하십시오.

동일한 예제를 두 후보에 모두 적용하는 대응 비교와 차이에 대한 신뢰 구간을 사용하십시오. 구간에 0이 포함되면 실제 개선이 있다고 볼 수 없으므로 튜닝에 드는 추가 비용을 정당화할 수 없습니다.

튜닝이 실제보다 훨씬 좋아 보이게 만드는 가장 빠른 방법은 평가 세트와 겹치는 학습 예제가 생기는 누수입니다. 누수가 발생한 평가는 암기를 보상하고 튜닝 후보의 점수를 부풀립니다.

학습 세트와 평가 세트의 경계에서 중복을 제거하고, 유사 중복을 확인하십시오. 또한 시간적으로 분리된 평가 세트를 우선 사용하십시오. 날짜를 기준으로 분리하면 튜닝된 모델이 해당 데이터를 미리 보지 못하게 할 수 있습니다. 누수는 운영 환경에서 튜닝 결정을 실패하게 만드는 가장 흔한 원인입니다.

결정은 출시 시점에 끝나지 않습니다. 운영 환경의 데이터 분포는 변하고, 입력이 학습 분포에서 멀어지면 튜닝된 모델의 성능이 조용히 저하될 수 있습니다.

• 실시간 트래픽을 표본 추출하고 동일한 평가 기준으로 점수를 매깁니다
• 품질 저하와 호출당 비용 증가를 감지하도록 알림을 설정합니다
• 기본 모델 버전이 바뀔 때마다 고정된 평가를 다시 실행합니다

선택한 접근 방식을 끝난 결정이 아니라 지속적으로 검증해야 하는 가설로 다루십시오.

비교 결과를 문서로 작성한 의사 결정 기록으로 남기십시오. 여기에는 고정된 평가 세트, 각 후보의 품질과 비용 벡터, 유의성 결과, 가정한 사용량, 그리고 그 근거와 함께 품질-비용 경계에서 선택한 지점을 기록합니다.

이렇게 하면 선택을 감사하고 다시 평가할 수 있습니다. 사용량이나 기본 모델이 바뀌면 기억에 의존해 논쟁을 반복하는 대신 기록을 다시 열고 평가를 다시 실행하면 됩니다.

전체를 연결하면 다음과 같습니다. 고정된 평가 세트에서 각 후보를 평가하고, 비용을 연결하고, 지배되는 선택지를 제외하고, 가장 저렴한 기준선보다 통계적으로 유의미한 개선을 요구한 다음, 가장 중요한 제약 조건을 기준으로 선택하십시오.

직관이 아니라 고정된 평가와 정직한 비용 벡터를 바탕으로 결정하십시오. 품질과 비용은 두 축이며, 답은 가장 중요한 제약 조건을 기준으로 선택한 품질-비용 경계상의 지점입니다.

• 평가 세트 하나를 고정하고 모든 후보를 그 세트에서 동일하게 평가합니다
• 작업에 맞는 지표를 선택하고 mean만이 아니라 최악의 경우도 확인합니다
• 전체 비용 벡터를 모델링하고 실제 사용량에 따라 학습 비용을 상각합니다
• 통계적 유의성을 요구합니다. 신뢰 구간에 0이 포함되면 개선이 아닙니다
• 평가 누수를 방지합니다. 누수는 잘못된 튜닝 성공의 가장 큰 원인입니다
• 출시 후 모니터링하고 결정을 기록하여 다시 평가할 수 있게 합니다