Uniformare le categorie incoerenti

Quando i dati categoriali vengono inseriti manualmente, lo stesso concetto può comparire con molte grafie diverse: Electronics, electronics, ELECTRONICS, Electronicss. Un groupby su questa colonna produce decine di piccoli gruppi invece di un unico gruppo significativo. Standardizzare le categorie in un elenco canonico è uno dei passaggi di pulizia più importanti prima di qualsiasi aggregazione o della creazione di feature per il machine learning.

Il primo e più semplice passaggio di standardizzazione consiste nel normalizzare maiuscole e minuscole e gli spazi bianchi. Applichi .str.strip().str.lower() per rimuovere gli spazi iniziali e finali e convertire tutto in minuscolo prima di qualsiasi altro confronto. Questo singolo passaggio riunisce molte varianti: Electronics, electronics e ' Electronics ' diventano tutte electronics dopo la normalizzazione.

Dopo la normalizzazione delle maiuscole e minuscole, molte varianti restano distinte a causa di abbreviazioni, sinonimi o nomi obsoleti. Crei un dizionario di mappatura degli alias in cui le chiavi sono le grafie alternative e i valori sono la forma canonica. Lo applichi con df['category_clean'].map(alias_map).fillna(df['category_clean']): fillna conserva i valori non presenti nel dizionario invece di sostituirli con NaN.

Alcuni nomi di categoria presentano errori di formattazione ricorrenti, come doppi spazi o numeri finali. Utilizzi .str.replace() con un'espressione regolare per correggere questi modelli in tutte le righe contemporaneamente. Ad esempio, .str.replace(r'\s+', ' ', regex=True) riduce più spazi a uno solo, mentre .str.replace(r'\d+$', '', regex=True) rimuove le cifre finali dai nomi delle categorie.

Quando i refusi sono imprevedibili, utilizzi la corrispondenza approssimata per trovare la categoria canonica più simile per ogni variante. difflib.get_close_matches(), integrato in Python, restituisce le corrispondenze migliori da un elenco di categorie valide in base alla similarità delle stringhe. Lo applichi come funzione di supporto tramite df['category'].apply() per risolvere le varianti che map() non riesce a intercettare.

Definisca esplicitamente le categorie canoniche invece di dedurle dai dati. Un elenco definito nel codice obbliga ogni valore a passare attraverso un controllo di convalida; qualsiasi valore non presente nell'elenco viene contrassegnato come sconosciuto. Mantenga l'elenco canonico in un file di configurazione o in una colonna separata di un DataFrame, così sarà facile aggiornarlo quando l'azienda aggiunge una nuova categoria di prodotto senza modificare il codice di pulizia.

Le categorie sconosciute che, dopo la correzione approssimata, non corrispondono ad alcun valore canonico devono essere raggruppate sotto l'etichetta Other invece di essere eliminate, così non perderà righe senza accorgersene. Le imposti su 'other' con np.where() o con una semplice assegnazione condizionale. Registri quante righe sono state mappate su 'other' e le esamini per individuare schemi che potrebbero giustificare una nuova categoria canonica.

Dopo la standardizzazione, converta la colonna delle categorie pulita nel tipo Pandas Categorical, specificando un elenco esplicito di categorie valide. In questo modo si applica lo schema: qualsiasi tentativo di assegnare una categoria non valida genera un errore. Inoltre, si riduce l'uso di memoria perché le stringhe delle categorie vengono memorizzate internamente come codici interi e si velocizzano le operazioni groupby su DataFrame di grandi dimensioni.

Dopo tutti i passaggi di standardizzazione, esegua una convalida finale: verifichi che nella colonna pulita non esistano valori al di fuori dell'insieme canonico. Utilizzi assert df['category_final'].isin(valid_set).all(). Inserisca questa asserzione alla fine della funzione di pulizia, in modo che venga eseguita ogni volta che la pipeline viene eseguita e rilevi eventuali regressioni quando i nuovi dati grezzi contengono etichette di categoria mai viste prima.

Crei una tabella delle differenze che mostri il valore originale e la relativa sostituzione pulita per ogni riga modificata. Questa traccia di audit consente ai responsabili dei dati di esaminare e approvare o rifiutare mappature specifiche. Utilizzi una maschera booleana per selezionare le righe modificate e confronti affiancate le colonne originale e finale. Esporti le differenze in formato CSV affinché gli stakeholder non tecnici possano esaminarle.

Sostituisca la colonna originale delle categorie, contenente dati non uniformi, con quella standardizzata ed elimini le colonne intermedie di lavoro prima del salvataggio. Memorizzi il dizionario di mappatura degli alias e la soglia di correzione fuzzy nella configurazione della pipeline, così da rendere la standardizzazione completamente riproducibile. Un'esecuzione della pulizia due mesi dopo, su un nuovo dump di dati, dovrebbe produrre risultati identici per gli stessi valori di input.

Verifichi la Sua comprensione dei concetti di analisi dei dati trattati in questa lezione.

In questa lezione ha imparato a: normalizzare maiuscole, minuscole e spazi bianchi come primo passaggio di standardizzazione, mappare gli alias e applicare il fuzzy matching per correggere gli errori di battitura e imporre un elenco canonico di categorie con il tipo Categorical e le asserzioni. Nel prossimo argomento esamineremo la convalida dello schema e le asserzioni a runtime per proteggere ogni fase della pipeline.