중복 감지와 제거

중복 행은 오류 메시지 없이 집계값, 매출 합계, 평균을 부풀립니다. 500개의 중복 주문 레코드가 있는 판매 데이터셋은 해당 500건 주문 금액의 합계만큼 매출을 과대 산정합니다. 중복을 감지하고 제거하는 작업은 집계나 모델링을 수행하기 전에 해야 할 첫 번째 정제 단계 중 하나입니다. 이 한 가지 데이터 손상 원인에서 비롯된 오류가 이후 단계에서 누적되기 때문입니다.

df.duplicated()는 이전 행과 완전히 동일한 모든 행에 True를 표시하는 불리언 Series를 반환합니다. 기본값인 keep='first'는 첫 번째 항목을 제외한 나머지 모든 항목을 표시합니다. keep=False를 전달하면 중복된 항목을 모두 표시하므로, 어떤 항목을 유지할지 결정하기 전에 중복 레코드의 모든 사본을 검사할 때 유용합니다.

df.drop_duplicates()로 완전히 중복된 행을 제거합니다. 기본적으로 첫 번째 항목은 유지하고 나머지는 삭제합니다. 데이터에 타임스탬프가 있고 나중 행이 더 신뢰할 수 있는 것으로 간주된다면 keep='last'를 전달해 가장 최근 레코드를 유지합니다. 제거된 행 수가 예상과 일치하는지 확인하려면 삭제 전후의 행 개수를 항상 확인합니다.

행은 부분적으로 중복될 수 있습니다. 즉, 비즈니스 키(예: order_id)는 같지만, 상위 시스템의 버그로 동일한 레코드가 두 가지 버전으로 생성되어 다른 열의 값은 다를 수 있습니다. df.duplicated(subset=['order_id'])를 사용하면 키는 같지만 다른 열의 값이 다를 가능성이 있는 행을 찾을 수 있습니다. 이러한 행을 어떻게 조정할지 결정하기 전에 먼저 확인하십시오.

부분 중복이 있으면 어떤 레코드를 기준 레코드로 삼을지 결정해야 합니다. 일반적인 방법으로는 가장 최근 타임스탬프가 있는 행(가장 최근에 업데이트된 행)을 유지하거나, null이 아닌 값이 가장 많은 행을 유지하거나, 한 레코드에 수정 사항이 있는 경우 금액이 더 큰 행을 유지하는 방법이 있습니다. 우선순위를 정하는 기준으로 정렬한 다음, 중복을 제거하면서 첫 번째(또는 마지막) 항목을 유지하십시오.

유사 중복은 동일한 개체를 나타내지만 약간씩 다른 행입니다. 예를 들어 오타가 있는 동일한 고객 이름이나, 반올림 차이가 1센트인 동일한 거래가 이에 해당합니다. 정확히 일치하는 중복 탐지만으로는 이러한 행을 찾을 수 없습니다. 한 가지 방법은 키 열을 기준으로 그룹을 만들고 개수를 세는 것입니다. 고객 이름이 약간씩 변형되어 나타난다면 중복 제거 전에 .str.strip().str.lower()를 사용하여 정규화하십시오.

중복 행을 단순히 삭제하는 대신 병합해야 한다면 groupby().agg()를 사용하십시오. 예를 들어 두 행이 동일한 주문을 나타내지만 한 행에는 배송 주소가 있고 다른 행에는 청구 주소가 있다면, 'first'(null이 아닌 값을 우선)로 집계하거나 중복된 행 전체에서 null이 아닌 값을 결합하는 사용자 지정 함수를 사용할 수 있습니다.

drop_duplicates(keep='first')의 결과는 행 순서에 따라 달라집니다. DataFrame을 ORDER BY 절이 없는 데이터베이스 질의에서 불러왔다면 행 순서는 비결정적이므로 실행할 때마다 유지되는 레코드가 달라질 수 있습니다. 중복을 제거하기 전에 항상 안정적인 키(예: 기본 키 또는 타임스탬프)로 정렬하여 처리 결과를 결정적이고 재현 가능하게 만드십시오.

중복을 제거한 후에는 세 가지를 확인하여 결과를 검증하십시오. 정확히 일치하는 중복이 남아 있지 않은지(df_clean.duplicated().sum() == 0), 중복 비즈니스 키가 없는지(df_clean.duplicated(subset=['order_id']).sum() == 0), 그리고 예상 행 개수가 타당한지 확인합니다. 향후 데이터가 변경되어 정제 논리가 더 이상 유효하지 않을 때 즉시 실패하도록 이러한 검사를 단정문으로 작성하십시오.

훌륭한 데이터 정제는 재현 가능하고 감사할 수 있어야 합니다. 제거한 행의 수, 중복 제거 키, 우선순위를 정하는 규칙을 정제 보고서 사전에 기록하십시오. 이 보고서를 정제된 데이터 파일과 함께 저장하면, 나중에 pipeline을 실행하는 사람이 코드를 다시 읽지 않고도 정제 결정을 확인할 수 있습니다. 데이터 정제 과정을 투명하게 관리하면 분석 결과에 대한 신뢰가 높아집니다.

원본을 덮어쓰지 말고 중복이 제거된 DataFrame을 새 파일로 저장하십시오. 이렇게 하면 감사를 위해 원시 데이터를 보존할 수 있습니다. 파일 이름에는 _clean 또는 _deduped 접미사를 명확히 포함하고 실행 날짜도 넣어 여러 번의 정제 작업을 구분할 수 있게 하십시오. 이후 pipeline 단계에서 빠르게 다시 불러올 수 있도록 Parquet을 사용하십시오.

이 단원에서는 duplicated()와 drop_duplicates()로 정확히 일치하는 중복과 부분 중복을 탐지하는 방법, 정렬 및 집계 전략으로 유지할 중복 행을 선택하는 방법, 단정문으로 결과를 검증하고 정제 결정을 기록하는 방법을 배웠습니다. 다음으로는 이상치 탐지 및 처리 기법을 살펴보겠습니다.