평균, 중앙값, 최빈값으로 대체하기

무작위 숫자를 만들어 내는 대신 열 자체에서 얻은 요약값으로 빈칸을 채울 수 있습니다. 이러한 신중한 방법을 대치라고 합니다. 🧮

숫자 데이터에서는 열의 평균인 mean을 사용하는 것이 가장 간단한 선택입니다. 빈칸이 적다면 전체 합계를 대체로 유지할 수 있습니다.

평균은 취약합니다. 아주 큰 값 몇 개만 있어도 평균이 중심에서 크게 벗어납니다. 치우친 데이터에서는 평균 대치가 모든 결측치를 비현실적인 값 쪽으로 끌어갈 수 있습니다.

중앙값은 가운데에 있는 값이며, 극단적인 이상치의 영향을 거의 받지 않습니다. 치우친 숫자 열에서는 대개 중앙값으로 채우는 편이 더 안전합니다.

간단한 기준은 다음과 같습니다. 열에 이상치나 긴 꼬리가 있으면 중앙값을 사용하고, 값이 대체로 대칭적으로 분포할 때만 평균을 사용하십시오.

텍스트 열과 범주형 열에는 평균이 없습니다. 이런 열은 가장 자주 나타나는 값인 최빈값으로 채우는 것이 가장 가능성 높은 대안이므로 최빈값을 사용하십시오.

가장 흔한 값이 여러 개일 수 있으므로 mode()는 모든 최빈값을 담은 Series를 반환합니다. 값 하나만 필요하다면 인덱스 0의 값을 선택하십시오.

가장 좋은 방법은 각 열의 유형에 맞춰 대치하는 것입니다. 치우친 숫자에는 중앙값, 대칭적인 숫자에는 평균, 범주형 데이터에는 최빈값을 사용하십시오.

시계열처럼 순서가 있는 데이터에서는 ffill로 마지막으로 알려진 값을 앞으로 전달하거나, bfill로 다음 값을 뒤로 가져올 수 있습니다.

대치할 때마다 열의 자연스러운 분산이 줄어듭니다. 채워진 값이 한 지점에 몰리기 때문입니다. 이는 분산을 낮추므로 반드시 기억해 두십시오.

숙련된 사용자는 대치된 행을 표시하는 불리언 열을 추가합니다. 이 표시를 활용하면 이후 분석에서 어떤 값이 실제 값이고 어떤 값이 추정된 값인지 알 수 있습니다.

이제 열의 유형에 따라 평균, 중앙값 또는 최빈값으로 대치하고, 순서가 있는 데이터에는 ffill을 사용하며, 채운 행을 표시해 어떤 값도 숨겨지지 않게 할 수 있습니다.