기준선보다 나을 때만 자동 승격하기

방금 재학습한 모델이 프로덕션에서 사용 중인 모델보다 나쁠 수 있습니다. 새 모델이라는 이유만으로 무작정 승격하지 마십시오.

현재 서비스 중인 모델이 챔피언이고, 새 후보 모델이 도전자입니다. 승격되려면 도전자가 지표에서 이겨야 합니다.

기준선은 고정된 평가 세트에서 측정한 현재 챔피언의 점수입니다. 도전자는 승격되려면 이 수치를 확실히 넘어야 합니다.

두 모델 모두 동일하게 분리해 둔 테스트 세트로 점수를 측정하십시오. 둘 사이에서 다른 요소가 바뀌지 않았을 때만 공정한 비교가 가능합니다.

도전자가 이긴 경우에만 참을 반환하도록 결정을 확인 작업으로 감싸십시오. 이 게이트는 두 점수를 직접 비교합니다.

아주 작은 향상은 잡음일 수 있으므로 실제 차이를 요구하십시오. 최소 1% 향상을 요구하면 아무 이유 없이 프로덕션 모델을 계속 바꾸는 일을 피할 수 있습니다.

단순한 정확도만 보지 말고 F1이나 AUC처럼 작업에 중요한 지표로 비교하십시오. 잘못된 지표를 사용하면 잘못된 모델을 승격하게 됩니다.

DAG에서 평가 바로 다음에 게이트를 배치하십시오. 도전자가 지면 파이프라인이 중단되고 챔피언이 계속 서비스됩니다.

승리했다는 것은 레지스트리에서 모델 단계를 Production으로 옮기는 것을 의미합니다. 이 전환이 사용자에게 제공되는 모델을 바꾸는 유일한 작업입니다.

실행할 때마다 두 점수와 결과를 기록하십시오. 이 감사 기록은 나중에 모델이 승격된 이유 또는 승격되지 않은 이유를 설명해 줍니다.

테스트 세트에 데이터가 유출되었거나 크기가 줄어들어 도전자가 매우 뛰어나 보일 수 있습니다. 승격을 신뢰하기 전에 평가가 타당한지 점검하십시오.

결과를 기준으로 승격을 제어했습니다. 같은 데이터에서 도전자와 챔피언을 비교하고, 일정한 차이를 요구한 다음, 승자를 레지스트리에서 전환합니다. ✅