Learn AI with Python · 강의

이상치 탐지 및 제거

Z점수 방법, IQR 방법, 고립 forest 개념, 실제 이상치 처리를 학습합니다.

이상치 탐지 및 제거은(는) CoddyKit의 무료 Learn AI with Python 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Learn AI with Python 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.

이상치란 무엇인가요

이상치는 나머지 데이터에서 멀리 떨어진 값입니다. 실제로 극단적인 값일 수도 있고, 데이터 입력 오류나 센서 오류일 수도 있습니다. 이상치는 평균, 분산 및 모델을 왜곡할 수 있으므로 의도적으로 탐지해야 합니다.

z 점수 방법

z 점수는 값이 평균에서 몇 개의 표준 편차만큼 떨어져 있는지 측정합니다: z = (x - mean) / std. 일반적으로 |z| > 3인 점을 이상치로 표시합니다.

import numpy as np
data = np.array([10, 12, 11, 13, 12, 100])
z = (data - data.mean()) / data.std()
print(np.round(z, 2))

scipy zscore로 이상치 표시하기

scipy.stats.zscore는 배열의 z 점수를 계산합니다. 임계값과 결합하면 이상치의 불리언 마스크를 만들 수 있습니다.

from scipy import stats
z = np.abs(stats.zscore(data))
outliers = z > 3
print(data[outliers])

z 점수의 한계

z 점수는 mean과 std를 사용하는데, 이 값들 자체가 이상치의 영향을 받습니다. 데이터가 심하게 치우쳐 있거나 극단적인 값이 있으면 z 점수가 이상치를 충분히 탐지하지 못할 수 있습니다. IQR 방법이 더 강건합니다.

IQR 방법

사분위 범위 IQR = Q3 - Q1은 가운데 50퍼센트의 범위를 나타냅니다. 이상치의 영향을 거의 받지 않는 사분위수로 계산되므로 강건합니다.

q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
print(q1, q3, iqr)

IQR 경계

튜키의 경계는 범위를 정의합니다: 하한 = Q1 - 1.5*IQR, 상한 = Q3 + 1.5*IQR. 이 범위를 벗어나는 모든 값이 표시됩니다. 같은 규칙으로 boxplot의 수염도 그려집니다.

lower = q1 - 1.5 * iqr
upper = q3 + 1.5 * iqr
mask = (data < lower) | (data > upper)
print(data[mask])   # outliers

boxplot 시각화

boxplot은 IQR 규칙을 시각화합니다. 상자는 Q1부터 Q3까지를 나타내고, 선은 중앙값을 나타내며, 수염은 경계까지 뻗습니다. 경계를 벗어난 점은 개별 이상치 점으로 표시됩니다.

# import matplotlib.pyplot as plt
# plt.boxplot(data)
# plt.show()

이상치 제거

표시된 이상치 행은 DROP할 수 있습니다. 실제 데이터를 제거하면 결과에 편향이 생길 수 있으므로 신중하게 처리하세요. 무엇을 왜 제거했는지 기록을 남기세요.

clean = data[~mask]
print(clean)   # outlier removed

np.clip을 사용한 윈저화

삭제하는 대신 윈저화를 사용하면 np.clip으로 극단적인 값을 선택한 한계값으로 제한할 수 있습니다. 이렇게 하면 행 수를 유지하면서 극단값의 영향은 줄일 수 있습니다.

capped = np.clip(data, lower, upper)
print(capped)   # extreme value pulled to the upper fence

백분위수로 제한하기

일반적인 윈저화 방법은 1번째와 99번째 백분위수로 값을 제한하여, 가장 극단적인 2퍼센트의 값만 대칭적으로 제거하는 것입니다.

lo, hi = np.percentile(data, [1, 99])
print(np.clip(data, lo, hi))

REMOVE 또는 CAP?

상황에 따라 선택하세요. 명백한 오류(불가능한 값)는 REMOVE하고, 보존하려는 실제이지만 극단적인 값은 CAP하며, 이상치가 신호인 경우(사기 탐지)에는 때로 KEEP합니다. 결정을 문서화하세요.

빠른 확인

이상치에 대한 이해도를 확인해 보세요.

복습

이상치 처리 도구 모음:

z 점수: scipy.stats.zscore를 사용해 |z| > 3인 값을 표시합니다(이상치에 민감함)
IQR 경계: Q1-1.5*IQR부터 Q3+1.5*IQR까지입니다(강건하며 boxplot의 기반이 됨)
실제 오류는 제거하고, np.clip으로 윈저화하여 극단값을 제한합니다
값을 왜 제거하거나 제한했는지 항상 문서화하세요

자주 묻는 질문

“이상치 탐지 및 제거” 강의는 무료인가요?

네 — “이상치 탐지 및 제거” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Learn AI with Python 강의 전체를 잠금 해제할 수 있습니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.

“이상치 탐지 및 제거”에서 뭘 배우나요?

Z점수 방법, IQR 방법, 고립 forest 개념, 실제 이상치 처리를 학습합니다. 브라우저에서 직접 실행하는 실습 코드로 Learn AI with Python을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

Learn AI with Python을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 Learn AI with Python은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.

“이상치 탐지 및 제거” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 Learn AI with Python 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 Learn AI with Python 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← Learn AI with Python(으)로 돌아가기