이상치와 그 의미

때로는 한 값이 나머지 값들과 멀리 떨어져 있습니다. 이런 외로운 점이 이상치이며, 전체 분석을 눈치채기 어렵게 왜곡할 수 있습니다. 🚩

극단적인 값 하나가 평균을 크게 움직이고 표준편차를 부풀릴 수 있습니다. 이상치를 일찍 발견하면 실제 패턴이 가려지는 것을 막을 수 있습니다.

모든 이상치가 쓸모없는 것은 아닙니다. 수정해야 할 오타도 있지만, 사기나 주목할 가치가 있는 희귀 사건처럼 진짜 신호인 경우도 있습니다.

일반적인 검정에서는 IQR을 사용합니다. Q1보다 훨씬 작거나 Q3보다 훨씬 큰 값은 추가로 살펴볼 이상치 후보로 표시합니다.

Q1-1.5×IQR과 Q3+1.5×IQR에 경계를 설정합니다. 이 경계 밖에 있는 점이 이상치 후보입니다.

불리언 마스크를 사용하면 빠르게 찾을 수 있습니다. 열을 경계와 비교하면 pandas가 바깥에 있는 행만 정확히 반환합니다.

또 다른 방법은 점이 평균에서 몇 표준편차만큼 떨어져 있는지를 나타내는 z 점수입니다. 약 3을 넘는 값은 흔히 이상치로 처리합니다.

상자 그림은 IQR 경계를 자동으로 그리고, 그 밖의 값을 별도의 점으로 표시합니다. 이상치를 시각적으로 가장 빠르게 훑어볼 수 있는 방법입니다.

극단적이라는 이유만으로 값을 삭제하지 마세요. 먼저 조사해야 합니다. 실제 데이터를 제거하면 꼭 필요했던 통찰까지 없앨 수 있기 때문입니다.

이상치를 이해한 뒤에는 제거하거나, 상한을 설정하거나, 그대로 둘 수 있습니다. 경계에서 값을 상한 처리하는 방법은 영향을 제한하는 온건한 절충안입니다.

어떤 결정을 내리든 기록해 두세요. 어떤 이상치를 왜 변경했는지 명확히 메모해 두면 분석의 정직성과 재현성을 유지할 수 있습니다.

이제 IQR 규칙이나 z 점수로 이상치를 찾고, 그것이 오류인지 신호인지 판단한 뒤 의도적으로 처리할 수 있습니다. 🎓