인공지능을 위한 데이터 준비

맛있는 요리를 만든다고 상상해 보세요. 썩은 재료를 사용하지는 않겠지요?

AI도 마찬가지입니다! 데이터 준비란 원시 데이터를 AI 모델이 사용할 수 있는 깨끗하고 적합한 형식으로 정제하고 변환하는 과정입니다.

데이터의 품질이 AI의 성능과 정확도에 직접적인 영향을 주기 때문에 매우 중요한 단계입니다.

원시 데이터가 처음부터 완벽한 상태인 경우는 드뭅니다. AI 모델을 잘못된 방향으로 이끌 수 있는 문제가 자주 포함되어 있습니다.

• 결측값: 데이터가 있어야 할 곳이 비어 있는 상태입니다.
• 불일치: 같은 정보가 서로 다른 형식으로 표현된 상태입니다.
• 중복: 동일한 항목이 반복해서 기록된 상태입니다.
• 이상치: 결과를 왜곡할 수 있는 극단적인 값입니다.

이러한 문제를 식별하는 것이 첫 단계입니다.

결측값은 오류나 편향된 결과를 초래할 수 있습니다. 다음은 일반적인 처리 방법입니다.

• 삭제: 결측 데이터가 지나치게 많은 행이나 열을 제거합니다(신중하게 사용하세요!).
• 대치: 결측값을 채워 넣습니다. 해당 열의 평균, 중앙값 또는 최빈값을 사용할 수 있습니다.
• 예측: 다른 특성을 사용해 결측값을 예측하고 채웁니다(더 고급 방법).

가장 적합한 방법은 데이터와 AI 작업에 따라 달라집니다.

중복 항목은 동일한 정보가 여러 번 기록된 것을 의미합니다. 이로 인해 데이터 세트의 규모가 부풀려지고 모델이 편향될 수 있습니다.

예를 들어 '신규 가입자' 목록에 한 고객이 두 번 나타나는 경우입니다.

해결 방법은 간단합니다. 이러한 불필요한 행을 식별하고 제거하면 됩니다. 대부분의 데이터 도구에는 이를 위한 내장 함수가 있습니다.

같은 데이터가 서로 다르게 표현되면 불일치가 발생합니다. 'USA', 'U.S.A.', 'United States'가 모두 같은 나라를 의미하는 경우를 생각해 보세요.

날짜 형식(예: '10/01/2023'과 'Jan 10, 2023')이나 단위(예: 'kg'과 'lbs')에도 동일하게 적용됩니다.

이러한 형식을 표준화하면 AI 모델이 데이터를 올바르게 해석할 수 있습니다.

K-최근접 이웃과 같은 일부 AI 알고리즘은 수치 특성의 스케일에 민감합니다. 값의 범위가 1~1000인 특성이 0~1인 특성보다 큰 영향을 미칠 수 있습니다.

• 정규화: 값을 고정된 범위(일반적으로 0~1)로 조정합니다.
• 표준화: 데이터의 평균을 0, 표준편차를 1로 변환합니다.

이를 통해 값이 큰 특성이 모델에 과도한 영향을 미치는 것을 방지할 수 있습니다.

AI 모델은 숫자 데이터를 사용할 때 가장 잘 작동합니다. 'Red', 'Green', 'Blue' 또는 'Small', 'Medium', 'Large'와 같은 범주형 데이터는 변환해야 합니다.

• 원-핫 인코딩: 각 범주에 대해 새로운 이진(0 또는 1) 열을 만듭니다. 예: 'Color_Red', 'Color_Green'
• 레이블 인코딩: 각 범주에 고유한 정수를 할당합니다. 예: Red=0, Green=1, Blue=2. 순서가 있다는 의미를 내포하므로 신중하게 사용해야 합니다.

때로는 원시 특성만으로는 충분하지 않습니다. 특성 공학은 기존 특성에서 새로운 특성을 만들어 모델 성능을 향상시키는 기술입니다.

예:

• 'height'와 'weight'를 결합하여 'BMI' 만들기
• 'date' 열에서 'month' 또는 'day of week' 추출하기
• 'age' 열에서 'age group' 만들기

이를 통해 모델이 패턴을 더 쉽게 찾을 수 있습니다.

AI 모델을 학습시키기 전에 준비한 데이터를 여러 세트로 나누어야 합니다.

• 학습 세트: 모델을 가르치는 데 사용됩니다.
• 검증 세트: 모델의 초매개변수를 조정하고 개발 중 과적합을 방지하는 데 사용됩니다.
• 테스트 세트: 모델 성능을 최종적으로 평가하기 위해 사용되는, 모델이 전혀 보지 못한 데이터 세트입니다.

이렇게 하면 모델이 새롭고 실제적인 데이터에도 잘 일반화됩니다.

잘하셨습니다! 이번 레슨에서는 중요한 과정인 데이터 준비를 살펴보았습니다.

다음 내용을 배웠습니다.

• 데이터 정리(결측값, 중복, 불일치)
• 데이터 변환(특성 스케일링, 범주형 데이터 인코딩)
• 기본적인 특성 공학
• 모델 평가를 위해 데이터를 나누는 것의 중요성

고품질 데이터는 효과적인 AI의 기반입니다. 이러한 기술을 계속 연습해 보세요!