Combinare e ripulire le colonne di testo

Un'attività comune di preparazione dei dati consiste nel creare un'unica stringa combinando i valori di più colonne, ad esempio creando un nome completo a partire da nome e cognome oppure un indirizzo a partire da via, città e Paese. In Pandas, si concatenano le colonne di stringhe usando l'operatore + su due Series (o su una Series e una stringa letterale), dopo aver convertito le colonne numeriche in stringhe con .astype(str).

Quando si combina una colonna numerica con una colonna di stringhe, è necessario convertire prima la colonna numerica in una stringa usando .astype(str). L'operatore + di Python genera un TypeError se si tenta di sommare una Series di stringhe e una Series di interi. Questa è una fonte comune di confusione quando si creano chiavi composite o etichette a partire da colonne di tipo misto.

Series.str.cat(others, sep=) è il modo nativo di Pandas per concatenare più Series con un separatore, gestendo correttamente i valori NaN. Per impostazione predefinita, un NaN in una qualsiasi colonna fa sì che il risultato di quella riga sia NaN. Passi na_rep='?' (o qualsiasi altra stringa) per sostituire NaN con un segnaposto invece di propagarlo.

Nelle colonne di categorie del mondo reale si trovano spesso etichette incoerenti dovute a errori di battitura, variazioni tra maiuscole e minuscole o abbreviazioni diverse (ad esempio, 'US', 'USA', 'United States'). La soluzione standard consiste nel creare un dizionario di mapping che associ ogni variante alla forma canonica, quindi applicarlo con .map() o .replace().

Prima di confrontare o raggruppare colonne di testo, esegua sempre come primo passaggio di pulizia la rimozione degli spazi superflui e la normalizzazione delle maiuscole e minuscole. Due valori che a una persona sembrano uguali (' Active' e 'active') vengono trattati da Pandas come diversi a causa dello spazio iniziale e della differenza tra maiuscole e minuscole. Una catena in due passaggi — prima rimozione degli spazi, poi conversione in minuscolo — risolve entrambi i problemi.

Quando gli errori di battitura impediscono una corrispondenza esatta, la corrispondenza approssimata calcola punteggi di similarità tra stringhe. La libreria rapidfuzz (o la classica fuzzywuzzy) fornisce strumenti per la corrispondenza approssimata vettorializzata. Un flusso di lavoro tipico consiste nel trovare, per ogni valore distinto non pulito, il valore canonico più vicino sopra una determinata soglia di similarità e creare una mappa di correzione.

A volte una cella contiene più valori separati da un delimitatore (ad esempio, 'python,sql,pandas'). Divida la colonna per ottenere delle liste, quindi chiami .explode() per creare una riga per ogni valore. In questo modo una cella estesa e compatta viene convertita in un formato long ordinato, in cui ogni riga contiene esattamente un valore — una struttura necessaria per le operazioni groupby e join su tali valori.

I dati testuali provenienti da fonti diverse possono presentare problemi di codifica — caratteri insoliti come \xa0 (spazio unificatore), \u2019 (apostrofo tipografico) o caratteri accentati alterati. Utilizzi .str.encode('ascii', errors='replace').str.decode('ascii') per una pulizia rapida limitata ai caratteri ASCII, oppure .str.normalize('NFKD') per scomporre gli accenti prima di rimuoverli.

In molti dataset è necessario creare una chiave composita a partire da più colonne per identificare univocamente una riga durante i join o la rimozione dei duplicati. La combinazione in un'unica stringa chiave di colonne testuali pulite (con spazi rimossi, convertite in minuscolo e normalizzate) garantisce una corrispondenza coerente tra fonti di dati in cui la stessa entità potrebbe essere scritta in modo leggermente diverso.

Dopo la pulizia, verifichi che tutti i valori di una colonna di testo categoriale appartengano a un insieme canonico noto. Un valore che non appartiene all'insieme può indicare una nuova categoria legittima oppure un errore nei dati. Registri o segnali i valori sconosciuti per una revisione manuale invece di eliminarli silenziosamente, così nulla passa inosservato.

Ecco una pipeline completa di pulizia del testo che applica tutte le tecniche di questa lezione: rimuovere gli spazi superflui, normalizzare le maiuscole e minuscole, correggere le abbreviazioni, rimuovere i caratteri speciali e convalidare rispetto a un elenco canonico. Questo è il tipo di funzione riutilizzabile che aggiungerebbe a qualsiasi modulo di acquisizione dei dati.

In questa lezione ha imparato a: concatenare le colonne con l'operatore + dopo aver convertito i numeri in stringhe, utilizzare str.cat(sep=) per concatenare con un delimitatore e gestire i valori NaN, applicare una mappa canonica con .map() per normalizzare le etichette incoerenti e utilizzare explode() per espandere in righe le celle contenenti liste. Applichi gli insiemi canonici per individuare tempestivamente i problemi di qualità dei dati. Ora vedrà come ordinare i DataFrame in base ai valori delle colonne.