Rilevare e rimuovere i duplicati

Le righe duplicate aumentano silenziosamente conteggi, totali dei ricavi e medie senza generare alcun messaggio di errore. Un dataset di vendite con 500 record di ordini duplicati sovrastimerà i ricavi esattamente della somma di quei 500 ordini. Individuare e rimuovere i duplicati è una delle prime operazioni di pulizia da eseguire, prima di qualsiasi aggregazione o modellazione, perché gli errori successivi si accumulano a partire da questa singola fonte di corruzione.

df.duplicated() restituisce una Series booleana che vale True per ogni riga che è una copia esatta di una riga precedente. Per impostazione predefinita, keep='first' contrassegna tutte le occorrenze tranne la prima. Passando keep=False vengono contrassegnate tutte le occorrenze di un duplicato: è utile quando si desidera esaminare tutte le copie di un record duplicato prima di decidere quale conservare.

Rimuova le righe duplicate esatte con df.drop_duplicates(). Per impostazione predefinita, il metodo conserva la prima occorrenza ed elimina tutte le altre. Passi keep='last' per conservare il record più recente se i dati includono un timestamp e le righe successive sono considerate più autorevoli. Controlli sempre il numero di righe prima e dopo l’operazione, per verificare che sia stato rimosso il numero previsto di righe.

Le righe possono essere duplicati parziali: condividono una chiave aziendale (come order_id), ma differiscono in altre colonne a causa di un bug nel sistema upstream che ha creato due versioni dello stesso record. Utilizzi df.duplicated(subset=['order_id']) per trovare le righe con la stessa chiave ma valori potenzialmente diversi nelle altre colonne. Esamini queste righe prima di decidere come riconciliarle.

Quando esistono duplicati parziali, deve decidere quale record sia quello autorevole. Strategie comuni: mantenere la riga con il timestamp più recente (aggiornamento più recente), la riga con il maggior numero di valori non nulli oppure la riga con l'importo più elevato se uno dei record contiene correzioni. Ordini i dati in base al criterio di spareggio e poi elimini i duplicati mantenendo la prima (o l'ultima) occorrenza.

I quasi duplicati sono righe che rappresentano la stessa entità ma differiscono leggermente: ad esempio, lo stesso nome cliente con un refuso oppure la stessa transazione con una differenza di arrotondamento di 1 centesimo. Il rilevamento dei duplicati esatti non li individua. Un approccio consiste nel raggruppare per la colonna chiave e contare: se un nome cliente compare con lievi variazioni, utilizzi .str.strip().str.lower() per normalizzarlo prima della deduplicazione.

Quando deve unire righe duplicate invece di limitar­si a eliminarle, utilizzi groupby().agg(). Ad esempio, se due righe rappresentano lo stesso ordine ma una contiene l'indirizzo di spedizione e l'altra quello di fatturazione, può aggregarle con 'first' (privilegiando i valori non nulli) oppure con una funzione personalizzata che combini i valori non nulli tra i duplicati.

Il risultato di drop_duplicates(keep='first') dipende dall'ordine delle righe. Se il DataFrame è stato caricato da una query al database senza una clausola ORDER BY, l'ordine delle righe non è deterministico: il record mantenuto può quindi variare tra un'esecuzione e l'altra. Ordini sempre i dati in base a una chiave stabile (ad esempio, la chiave primaria o il timestamp) prima della deduplicazione, in modo da rendere il processo deterministico e riproducibile.

Dopo la deduplicazione, verifichi il risultato con tre controlli: nessun duplicato esatto residuo (df_clean.duplicated().sum() == 0), nessuna chiave aziendale duplicata (df_clean.duplicated(subset=['order_id']).sum() == 0) e un numero di righe atteso plausibile. Scriva questi controlli come asserzioni, in modo che generino un errore evidente se future modifiche ai dati rendono non valida la logica di pulizia.

Una buona pulizia dei dati è riproducibile e verificabile. Registri in un dizionario del report di pulizia il numero di righe rimosse, la chiave di deduplicazione e la regola di spareggio. Salvi questo report insieme al file dei dati puliti, così chiunque esegua nuovamente la pipeline potrà verificare le decisioni di pulizia senza dover rileggere il codice. La trasparenza nella pulizia dei dati aumenta la fiducia nei risultati dell'analisi.

Salvi il DataFrame deduplicato in un nuovo file invece di sovrascrivere l'originale. In questo modo conserva i dati grezzi per eventuali verifiche. Assegni al file un nome chiaro con il suffisso _clean o _deduped e includa la data di esecuzione, così sarà possibile distinguere più passaggi di pulizia. Utilizzi Parquet per ricaricare rapidamente i dati nei passaggi successivi della pipeline.

In questa lezione ha imparato a: rilevare duplicati esatti e parziali con duplicated() e drop_duplicates(), scegliere quale duplicato mantenere utilizzando strategie di ordinamento e aggregazione e verificare i risultati con asserzioni e registrare le decisioni di pulizia. Ora passeremo alle tecniche di rilevamento e trattamento dei valori anomali.