ROC, AUC, 임계값

대부분의 분류기는 단순히 예 또는 아니요라고만 답하지 않습니다. 0.73과 같은 확률을 제공하며, 어디에 기준선을 그을지는 직접 결정합니다. 🎚️

임계값은 확률을 레이블로 변환합니다. 임계값보다 높으면 양성이고, 낮으면 음성입니다. 기본값 0.5도 여러 선택지 중 하나일 뿐입니다.

임계값을 낮추면 더 많은 양성을 찾아내지만 오탐이 늘어납니다. 높이면 더 엄격해지지만 더 많이 놓치게 됩니다. 각 설정에는 상충 관계가 있습니다.

임계값이 움직일 때는 참 양성 비율과 거짓 양성 비율을 비교해 보세요. 두 비율을 함께 보면 모든 기준값에서 모델의 성능을 설명할 수 있습니다.

ROC 곡선은 모든 임계값에서 참 양성 비율을 거짓 양성 비율에 대해 표시하여, 전체 상충 관계를 하나의 그림으로 보여 줍니다.

왼쪽 위 모서리에 바짝 붙은 곡선은 훌륭합니다. 오탐은 적으면서 높은 비율로 대상을 찾아내기 때문입니다. 대각선은 무작위 추측을 의미합니다.

AUC는 전체 ROC 곡선을 그 아래 영역이라는 하나의 숫자로 요약합니다. 모든 임계값에서의 성능을 한 번에 나타냅니다.

AUC가 1.0이면 완벽하고 0.5면 동전 던지기와 같은 무작위 수준입니다. 모델이 실제 양성을 실제 음성보다 높게 순위를 매길 확률로 이해하면 됩니다.

AUC는 특정 기준값 하나를 무시하므로 모델을 비교하는 데 유용합니다. 더 자주 양성을 음성보다 높은 순위에 올리는 모델이 더 우수합니다.

AUC로 모델을 선택하더라도 실제 사용을 위해서는 여전히 임계값을 정해야 합니다. 문제의 요구에 따라 재현율이나 정밀도에 유리하도록 조정하세요.

데이터가 매우 불균형하면 ROC가 지나치게 좋아 보일 수 있습니다. 정밀도-재현율 곡선은 드문 클래스의 성능에 대해 더 현실적인 관점을 보여 주는 경우가 많습니다.

임계값은 확률을 레이블로 바꾸고, ROC 곡선은 모든 상충 관계를 보여 주며, AUC는 전체 곡선을 한 번에 평가합니다. 🎯