불균형 데이터에서 정확도가 속이는 이유

정확도는 당연한 점수처럼 느껴집니다. 얼마나 많은 예측을 맞혔는지를 나타내기 때문입니다. 데이터가 균형 잡혀 있을 때는 잘 작동하지만, 불균형 데이터에서는 조용히 무너집니다.

한 클래스가 다른 클래스보다 훨씬 드물면 데이터셋이 불균형하다고 합니다. 사기, 질병, 이탈을 생각해 보십시오. 관심 있는 사건이 바로 드문 사건입니다.

사기 거래 1건당 정상 거래가 99건 있다고 가정해 보십시오. 매번 정상이라고만 외치는 모델도 놀랍게 정확도 99%를 얻습니다. ⚠️

그 99% 모델은 사기를 단 한 건도 표시하지 않았습니다. 숫자만 보면 최고 수준처럼 보이지만, 정작 맡겨진 일을 수행하는 데는 쓸모가 없습니다.

정확도는 모든 행을 평균 내므로, 압도적으로 많은 다수 클래스가 소수 클래스를 묻어 버립니다. 희소 클래스에서 완전히 실패해도 점수는 거의 변하지 않을 수 있습니다.

항상 다수 클래스 기준선과 비교하십시오. 가장 흔한 레이블만 예측하는 방식입니다. 모델이 이를 이기지 못한다면 유용한 것을 학습하지 못한 것입니다.

축하하기 전에 한 가지를 물어보십시오. 전체 행 중 다수 클래스는 얼마나 차지합니까? 그 비율이 아무것도 하지 않는 모델이 공짜로 얻는 정확도입니다.

한 줄의 코드로 레이블이 얼마나 한쪽으로 치우쳤는지 알 수 있습니다. 한 값이 나머지보다 압도적으로 많다면 정확도만으로는 잘못 판단하게 됩니다.

희소 클래스를 놓치는 일은 대개 가장 큰 피해를 줍니다. 발견하지 못한 종양이나 사기는 큰 비용으로 이어집니다. 정확도는 모든 실수를 똑같이 취급하지만 현실은 그렇지 않습니다.

해결책은 아직 마법 같은 지표가 아니라 사고방식의 전환입니다. 하나의 숫자를 무조건 믿지 말고 소수 클래스가 실제로 어떤 성과를 냈는지 확인하기 시작하십시오.

곧 희소 사건에 맞게 설계된 정밀도, 재현율, PR 곡선을 배우게 됩니다. 먼저 여기서 정확도를 불신하게 된 이유를 확실히 이해하십시오.

불균형 데이터에서는 정확도가 희소 클래스를 무시하는 게으른 모델을 좋게 보이게 합니다. 다수 클래스 기준선을 넘어서고 소수 클래스가 실제로 어떤 성과를 냈는지 평가하십시오. 🎯