데이터 정규화

데이터 정규화는 데이터 집합의 모든 특성이 비슷한 스케일을 갖도록 합니다. 이는 경사 하강법과 거리 기반 모델과 같은 알고리즘에 매우 중요합니다. 이 학습에서는 표준화 및 스케일 조정 기법을 살펴보겠습니다.

데이터를 정규화해야 하는 이유

정규화를 수행하면 모든 특성이 모델에 동일하게 기여할 수 있습니다. 정규화를 하지 않으면 스케일이 큰 특성이 학습 과정을 지배할 수 있습니다.

예시:

• 나이(0~100)와 소득(0~100,000)은 서로 비교할 수 있는 범위로 조정해야 합니다.

표준화

표준화는 데이터의 평균을 0, 표준 편차를 1로 변환합니다. 다음과 같이 계산합니다:

z = (x - mean) / std_dev

표준화는 로지스틱 회귀 및 SVM과 같은 알고리즘에 적합합니다.

최소-최대 스케일 조정

최소-최대 스케일 조정은 데이터를 일반적으로 [0, 1]과 같은 고정된 범위로 조정합니다. 다음과 같이 계산합니다:

x_scaled = (x - min) / (max - min)

데이터를 특정 범위 안에 제한해야 할 때 사용하는 기법입니다.

파이썬의 정규화(표준화)

sklearn.preprocessing의 StandardScaler를 사용하여 데이터를 표준화합니다.

예:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

파이썬의 정규화(최소-최대 스케일링)

sklearn.preprocessing의 MinMaxScaler를 사용하여 최소-최대 스케일링을 적용합니다.

예:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

정규화 기법 선택

기법을 선택할 때 다음 사항을 고려합니다:

• 표준화: 데이터에 이상치가 포함되어 있을 때 사용합니다.
• 최소-최대 스케일링: 특성의 범위를 제한해야 할 때 사용합니다.

복습

이 수업에서는 다음 내용을 배웠습니다:

• 표준화: 데이터의 평균을 0, 표준편차를 1로 맞추는 방법입니다.
• 최소-최대 스케일링: 데이터를 일정한 범위로 변환하는 방법입니다.
• 파이썬에서 StandardScaler와 MinMaxScaler를 사용하는 방법입니다.

축하합니다!

데이터 정규화 수업을 완료하셨습니다. 다음 수업으로 이동하여 파이썬에서 데이터를 병합하는 방법을 배워 보세요.