Finne og fjerne duplikater

Duplikate rader blåser ubemerket opp antall, inntektssummer og gjennomsnitt uten at det vises noen feilmelding. Et salgsdatasett med 500 duplikate ordreposter vil overvurdere inntekten med nøyaktig summen av disse 500 ordrene. Å oppdage og fjerne duplikater er et av de første trinnene i datarensingen, før aggregering eller modellering, fordi feilene nedstrøms forsterkes fra denne ene korrupsjonskilden.

df.duplicated() returnerer en boolsk serie der verdien er True for hver rad som er en nøyaktig kopi av en tidligere rad. Standardverdien keep='first' markerer alle forekomster unntatt den første. Hvis De sender inn keep=False, markeres alle forekomster av et duplikat – nyttig når De vil undersøke alle kopiene av en duplisert post før De bestemmer hvilken som skal beholdes.

Fjern eksakte duplikatrader med df.drop_duplicates(). Som standard beholdes den første forekomsten, mens alle andre fjernes. Send inn keep='last' for å beholde den nyeste posten hvis dataene har et tidsstempel og senere rader anses som mer pålitelige. Kontroller alltid radantallet før og etter for å bekrefte at forventet antall rader ble fjernet.

Rader kan være delvise duplikater: De deler en forretningsnøkkel (for eksempel order_id), men skiller seg i andre kolonner på grunn av en feil oppstrøms som opprettet to versjoner av samme post. Bruk df.duplicated(subset=['order_id']) for å finne rader med samme nøkkel, men potensielt ulike verdier i andre kolonner. Undersøk disse radene før De avgjør hvordan de skal avstemmes.

Når det finnes delvise duplikater, må De avgjøre hvilken post som er den autoritative. Vanlige strategier er å beholde raden med nyeste tidsstempel (seneste oppdatering), raden med flest ikke-null-verdier eller raden med høyest beløp hvis én post inneholder korrigeringer. Sorter etter kriteriet som skal avgjøre valget, og fjern deretter duplikatene ved å beholde den første (eller siste) forekomsten.

Nesten-duplikater er rader som representerer samme entitet, men som skiller seg litt fra hverandre – for eksempel samme kundenavn med en skrivefeil eller samme transaksjon med en avrundingsforskjell på 1 cent. Oppdagelse av eksakte duplikater finner ikke disse. Én fremgangsmåte er å gruppere etter nøkkelkolonnen og telle: Hvis et kundenavn forekommer med små variasjoner, kan De bruke .str.strip().str.lower() til å normalisere det før deduplisering.

Når De må slå sammen duplikatrader i stedet for bare å fjerne dem, kan De bruke groupby().agg(). Hvis to rader for eksempel representerer samme ordre, men den ene har leveringsadressen og den andre fakturaadressen, kan De aggregere med 'first' (ikke-null-verdier foretrekkes) eller en egendefinert funksjon som kombinerer ikke-null-verdier på tvers av duplikatene.

Resultatet av drop_duplicates(keep='first') avhenger av radrekkefølgen. Hvis DataFrame-et ble lastet inn fra en databaseforespørsel uten en ORDER BY-klausul, er radrekkefølgen ikke-deterministisk. Det betyr at posten som beholdes, kan variere mellom kjøringer. Sorter alltid etter en stabil nøkkel (for eksempel primærnøkkel eller tidsstempel) før deduplisering, slik at prosessen blir deterministisk og reproduserbar.

Etter deduplisering bør De verifisere resultatet med tre kontroller: ingen gjenværende eksakte duplikater (df_clean.duplicated().sum() == 0), ingen dupliserte forretningsnøkler (df_clean.duplicated(subset=['order_id']).sum() == 0) og et forventet radantall som virker rimelig. Skriv disse som assertions, slik at de feiler tydelig hvis fremtidige dataendringer gjør rense-logikken ugyldig.

God datarensing er reproduserbar og etterprøvbar. Logg antallet rader som ble fjernet, dedupliseringsnøkkelen og regelen som avgjorde valget, i en ordbok for rense-rapporten. Lagre denne rapporten sammen med den rensede datafilen, slik at alle som kjører pipelinen senere, kan kontrollere rensevalgene uten å lese koden på nytt. Åpenhet i datarensingen skaper tillit til analyseresultatene.

Lagre den dedupliserte DataFrame-en i en ny fil i stedet for å overskrive originalen. Da bevarer De rådataene for revisjon. Gi filen et tydelig navn med suffikset _clean eller _deduped, og ta med kjøringsdatoen slik at flere rensekjøringer kan identifiseres. Bruk Parquet for rask innlasting i senere trinn i pipelinen.

I denne leksjonen har De lært: å oppdage eksakte og delvise duplikater med duplicated() og drop_duplicates(), å velge hvilket duplikat som skal beholdes ved hjelp av sorterings- og aggregeringsstrategier og å verifisere resultater med assertions og loggføre rensevalgene. Deretter skal vi se på teknikker for å oppdage og behandle uteliggere.