데이터에서 특성 추출

특성 추출은 원시 데이터를 머신 러닝 모델이 사용할 수 있는 특성 집합으로 변환하는 과정입니다. 이 수업에서는 특성 공학의 기초와 데이터에서 유용한 특성을 추출하는 일반적인 기법을 다룹니다.

특성 추출이란?

특성 추출은 분석에 가장 관련성이 높은 핵심 속성을 식별하여 원시 데이터를 단순화합니다. 이를 통해 데이터의 복잡성을 줄이고 모델 성능을 향상할 수 있습니다.

예:

• date 열에서 month와 day를 추출합니다.
• 텍스트 데이터에서 word count를 계산합니다.

날짜에서 특성 추출

판다스를 사용하면 날짜 열에서 year, month, day와 같은 새로운 특성을 도출할 수 있습니다.

예:

df['Year'] = pd.to_datetime(df['Date']).dt.year

텍스트 기반 특성

텍스트 데이터에서는 다음과 같은 특성을 추출할 수 있습니다:

• 단어 수: 전체 단어의 개수입니다.
• 문자 수: 전체 문자의 개수입니다.
• 고유 단어: 중복되지 않는 단어의 개수입니다.

예:

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

범주형 특성 인코딩

분석을 위해 범주형 데이터를 수치 형태로 변환합니다. 일반적인 기법은 다음과 같습니다:

• 원-핫 인코딩: 각 범주에 대한 이진 열을 만듭니다.
• 레이블 인코딩: 각 범주에 고유한 숫자를 할당합니다.

예:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

특성 스케일링

스케일링은 모든 특성을 비슷한 척도로 맞춥니다. 이는 많은 머신 러닝 알고리즘에서 매우 중요합니다. 기법은 다음과 같습니다:

• 표준화: 데이터의 평균을 0, 표준편차를 1로 맞춥니다.
• 최소-최대 스케일링: 데이터를 [0, 1] 범위로 변환합니다.

특성 선택

특성 선택은 모델에 가장 중요한 특성을 고르는 과정입니다. 기법은 다음과 같습니다:

• 상관관계 분석: 상관관계가 높은 특성을 식별합니다.
• 재귀적 특성 제거(RFE): 중요도가 가장 낮은 특성을 반복적으로 제거합니다.

복습

이 수업에서는 다음 내용을 배웠습니다:

• 특성 추출: 원시 데이터를 유용한 특성으로 변환하는 방법입니다.
• 기법: 날짜 특성, 텍스트 기반 특성, 범주형 데이터 인코딩이 있습니다.
• 특성 스케일링: 특성을 비슷한 척도로 맞추는 방법입니다.
• 특성 선택: 가장 관련성이 높은 특성을 식별하는 방법입니다.

축하합니다!

데이터에서 특성을 추출하는 수업을 완료하셨습니다. 다음 범주로 이동하여 더 고급 인공지능 개념을 자세히 알아보세요.