품질 게이트와 임계값 설정하기

품질 관문은 성능이 나쁜 모델의 배포를 막는 자동 규칙입니다. 새 모델이 기준을 충족하지 못하면 빌드가 단순히 실패합니다.

F1이나 AUC처럼 작업에 가장 중요한 지표 하나를 선택하세요. 주요 지표가 관문을 작동시켜 판단을 명확하게 유지합니다.

가장 단순한 관문은 엄격한 하한선입니다. 절대 임계값은 점수가 고정된 최솟값보다 낮은 모든 모델을 차단합니다.

단순한 모델을 이기면 실제 가치가 입증됩니다. 기준선 관문은 다수 클래스를 예측하는 것보다 좋은 성능을 내지 못하면 빌드를 실패시킵니다.

새 모델은 현재 모델보다 나빠서는 안 됩니다. 회귀 관문은 후보 모델을 실제 운영 모델과 비교하여 성능이 떨어지면 거부합니다.

점수는 무작위성으로 인해 실행마다 흔들릴 수 있습니다. 작은 허용 오차를 두면 불안정한 실패를 피하면서도 실제 성능 저하는 포착할 수 있습니다.

전체 수치는 취약한 그룹을 숨길 수 있습니다. 구간 관문은 평균뿐 아니라 가장 성능이 낮은 구간도 자체 최솟값을 넘도록 요구합니다.

운영 환경에서는 지연 시간과 모델 크기도 중요합니다. 정확도 외 제한에 관문을 추가하여 느리거나 지나치게 큰 모델도 빌드를 실패하게 하세요.

실패한 단언은 0이 아닌 종료 코드를 반환합니다. CI는 해당 종료 코드를 읽고 배포를 중단하므로 누구도 실수로 배포할 수 없습니다.

모든 관문 결과를 MLflow 또는 파일에 기록하세요. 기록된 이력을 통해 임계값과 점수가 시간에 따라 어떻게 변하는지 확인할 수 있습니다.

나쁜 모델은 차단하되 좋은 모델은 막지 않는 수준으로 기준을 정하세요. 모델과 비즈니스가 성숙함에 따라 각 임계값을 다시 검토하세요.

이제 품질 관문을 설정합니다. 절대 하한선, 기준선 및 회귀 검사, 구간 및 지연 시간 제한을 통해 성능이 낮은 모델이 배포되기 전에 빌드를 실패시킵니다. ✅