모델 품질을 기준으로 병합 차단하기

품질 관문은 새 모델의 품질이 충분하지 않으면 풀 리퀘스트가 병합되지 않도록 막습니다. 이를 통해 모델 품질을 막연한 기대가 아니라 반드시 지켜야 하는 규칙으로 바꿀 수 있습니다. 🚧

코드가 모든 테스트를 통과해도 더 나쁜 모델을 만들 수 있습니다. 사용자를 보호하려면 정확도나 F1과 같은 평가지표를 별도로 확인해야 합니다.

작업의 성공을 나타내는 하나의 주요 평가지표를 선택하세요. 한 번에 너무 많은 수치로 관문을 설정하면 모든 PR이 혼란스러운 협상이 됩니다.

최소 기준인 임계값을 정의하세요. 새 모델의 점수가 이보다 낮으면 빌드가 실패하고 병합이 자동으로 차단됩니다.

항상 동일하게 분리해 둔 테스트 세트를 기준으로 점수를 계산하세요. 고정된 평가 세트를 사용하면 모든 풀 리퀘스트와 실행에서 공정하게 비교할 수 있습니다.

CI에서는 0이 아닌 코드로 종료하는 단계가 작업을 실패한 것으로 표시합니다. 따라서 평가지표가 기준에 미치지 못하면 의도적으로 오류를 발생시켜 병합을 중단합니다.

더 나은 관문은 새 모델을 운영 환경의 현재 기준 모델과 비교합니다. 단순히 고정된 수치를 충족하는 것이 아니라 성능이 퇴보한 병합을 차단합니다.

GitHub에서 브랜치 보호 설정에 CI 작업을 필수 확인으로 표시하세요. 그러면 관문을 통과할 때까지 병합 버튼이 비활성화되어 있습니다.

검토자가 점수를 볼 수 있도록 출력하세요. 평가지표를 보여 주는 명확한 로그 한 줄이나 PR 댓글은 빨간색 X를 사람들이 신뢰할 수 있는 설명으로 바꿔 줍니다.

때로는 작은 하락이 괜찮을 수 있습니다. 검토 승인을 통해 사람이 실패한 관문을 재정의할 수 있도록 하세요. 그러면 규칙이 팀을 완전히 막지 않고 방향을 제시할 수 있습니다.

시드와 안정적인 테스트 세트를 설정하여 같은 모델이 같은 수치를 내도록 하세요. 결정론적 평가를 사용하면 단순한 운 때문에 관문이 실패하는 일을 막을 수 있습니다.

하나의 평가지표를 선택하고 임계값을 설정하거나 기준 모델을 능가하도록 한 다음, 기준에 미치지 못하면 빌드를 실패시키세요. 작업을 필수로 표시하면 성능이 약한 모델이 조용히 병합되는 일을 막을 수 있습니다.