Kombinera och rensa textkolumner

En vanlig uppgift vid databeredning är att skapa en enda sträng genom att kombinera värden från flera kolumner – till exempel skapa ett fullständigt namn från förnamn och efternamn eller en adress från gata, ort och land. I Pandas sammanfogar Ni strängkolumner med operatorn + på två Series (eller en Series och en strängliteral), efter att numeriska kolumner har konverterats till strängar med .astype(str).

När Ni kombinerar en numerisk kolumn med en strängkolumn måste Ni först konvertera den numeriska kolumnen till en sträng med .astype(str). Pythons operator + utlöser ett TypeError om Ni försöker addera en sträng-Series och en integer-Series. Detta är en vanlig källa till förvirring när sammansatta nycklar eller etiketter skapas från kolumner med blandade datatyper.

Series.str.cat(others, sep=) är Pandas inbyggda sätt att sammanfoga flera Series med en avgränsare och hanterar NaN-värden på ett smidigt sätt. Som standard gör en NaN i någon kolumn att resultatet för den raden blir NaN. Ange na_rep='?' (eller valfri sträng) för att ersätta NaN med en platshållare i stället för att låta värdet spridas vidare.

Kategorikolumner i verkliga data har ofta inkonsekventa etiketter på grund av stavfel, variationer i skiftläge eller olika förkortningar (till exempel 'US', 'USA', 'United States'). Den vanliga lösningen är att skapa en mappningsordbok som mappar varje variant till den kanoniska formen och sedan tillämpa den med .map() eller .replace().

Innan textkolumner jämförs eller grupperas ska Ni alltid ta bort blanksteg och normalisera skiftläget som första rensningssteg. Två värden som ser likadana ut för en människa (' Active' och 'active') behandlas som olika av Pandas på grund av det inledande blanksteget och skillnaden i skiftläge. En kedja i två steg – ta bort blanksteg och konvertera sedan till gemener – fångar båda problemen.

När stavfel förhindrar exakt matchning beräknar luddig matchning likhetspoäng mellan strängar. Biblioteket rapidfuzz (eller det klassiska fuzzywuzzy) tillhandahåller vektoriserad luddig matchning. Ett typiskt arbetsflöde är att för varje unikt orent värde hitta det närmaste kanoniska värdet över en likhetströskel och skapa en korrigeringsmappning.

Ibland innehåller en cell flera värden som separeras av en avgränsare (till exempel 'python,sql,pandas'). Dela kolumnen för att få listor och anropa sedan .explode() för att skapa en rad per värde. Det omvandlar en bred, packad cell till ett städad långformat där varje rad innehåller exakt ett värde – vilket krävs för groupby- och join-operationer på dessa värden.

Textdata från olika källor kan ha problem med teckenkodning – ovanliga tecken som \xa0 (fast blanksteg), \u2019 (böjt apostroftecken) eller förvrängda tecken med diakritiska markeringar. Använd .str.encode('ascii', errors='replace').str.decode('ascii') för en snabb rensning till enbart ASCII, eller .str.normalize('NFKD') för att dela upp diakritiska markeringar innan de tas bort.

I många dataset behöver Ni skapa en sammansatt nyckel från flera kolumner för att entydigt identifiera en rad vid join-operationer eller borttagning av dubbletter. Genom att kombinera rensade strängkolumner (med borttagna blanksteg, konverterade till gemener och normaliserade) till en enda nyckelsträng säkerställs konsekvent matchning mellan datakällor där samma entitet kan vara stavad något olika i varje källa.

Efter rensningen ska Ni kontrollera att alla värden i en kategorisk textkolumn tillhör en känd kanonisk mängd. Ett värde som inte finns i mängden kan ange en ny legitim kategori eller ett datafel. Logga eller flagga okända värden för manuell granskning i stället för att tyst ta bort dem, så att inget passerar obemärkt.

Här är en komplett pipeline för textrensning som tillämpar alla tekniker från den här lektionen: ta bort blanksteg, normalisera skiftläge, korrigera förkortningar, ta bort specialtecken och validera mot en kanonisk lista. Detta är den typ av återanvändbar funktion som Ni skulle lägga till i vilken modul för dataimport som helst.

I den här lektionen lärde Ni Er att sammanfoga kolumner med + operator efter att numeriska värden har konverterats till strängar, använda str.cat(sep=) för att sammanfoga med en avgränsare och hantera NaN, tillämpa en kanonisk mappning med .map() för att normalisera inkonsekventa etiketter och använda explode() för att expandera celler med listvärden till rader. Tvinga fram kanoniska mängder för att upptäcka problem med datakvaliteten tidigt. Nästa steg är att sortera DataFrames efter kolumnvärden.