Kombination og oprydning i tekstkolonner

En almindelig opgave i dataforberedelse er at oprette en enkelt streng ved at kombinere værdier fra flere kolonner — f.eks. at oprette et fuldt navn ud fra fornavn og efternavn eller en adresse ud fra vej, by og land. I Pandas sammenkæder du strengkolonner ved hjælp af operatoren + på to Series (eller en Series og en strengliteral), efter at du har konverteret numeriske kolonner til strenge med .astype(str).

Når du kombinerer en numerisk kolonne med en strengkolonne, skal du først konvertere den numeriske kolonne til en streng ved hjælp af .astype(str). Pythons +-operator udløser en TypeError, hvis du forsøger at lægge en Series med strenge sammen med en Series med heltal. Det er en almindelig kilde til forvirring, når du opbygger sammensatte nøgler eller etiketter ud fra kolonner med blandede typer.

Series.str.cat(others, sep=) er Pandas' egen måde at sammenkæde flere Series med en separator på, samtidig med at NaN-værdier håndteres på en hensigtsmæssig måde. Som standard medfører en NaN-værdi i en kolonne, at resultatet for den pågældende række bliver NaN. Angiv na_rep='?' (eller en hvilken som helst tekst) for at erstatte NaN med en pladsholder i stedet for at lade værdien brede sig.

Kategorikolonner fra virkelige datasæt har ofte inkonsistente etiketter på grund af slåfejl, forskelle i store og små bogstaver eller forskellige forkortelser (f.eks. 'US', 'USA', 'United States'). Den almindelige løsning er at oprette en ordbog med afbildninger, der afbilder hver variant til den kanoniske form, og derefter anvende den med .map() eller .replace().

Før du sammenligner eller grupperer tekstkolonner, skal du altid fjerne mellemrum og normalisere store og små bogstaver som det første trin i rensningen. To værdier, der ser ens ud for et menneske (' Active' og 'active'), behandles som forskellige af Pandas på grund af det indledende mellemrum og forskellen i store og små bogstaver. En kæde i to trin — fjern mellemrum, og konverter derefter til små bogstaver — fanger begge problemer.

Når slåfejl forhindrer nøjagtige match, beregner fuzzy matching lighedsscorer mellem tekststrenge. Biblioteket rapidfuzz (eller det klassiske fuzzywuzzy) tilbyder vektoriseret fuzzy matching. En typisk arbejdsgang er: Find for hver unik uren værdi den nærmeste kanoniske værdi over en lighedstærskel, og opbyg et kort over rettelser.

Nogle gange indeholder en celle flere værdier adskilt af et skilletegn (f.eks. 'python,sql,pandas'). Opdel kolonnen for at få lister, og kald derefter .explode() for at oprette én række pr. værdi. Det omdanner en bred, pakket celle til et ordnet langt format, hvor hver række har præcis én værdi — hvilket er nødvendigt for groupby- og sammenføjningsoperationer på disse værdier.

Tekstdata fra forskellige kilder kan have problemer med tegnkodning — mærkelige tegn som \xa0 (hårdt mellemrum), \u2019 (krøllet apostrof) eller forvanskede tegn med accenter. Brug .str.encode('ascii', errors='replace').str.decode('ascii') til en hurtig rensning, der kun bevarer ASCII, eller .str.normalize('NFKD') for at dekomponere accenter, før du fjerner dem.

I mange datasæt skal du oprette en sammensat nøgle ud fra flere kolonner for entydigt at identificere en række til sammenføjninger eller fjernelse af dubletter. Når rensede tekstkolonner (med fjernede mellemrum, konverterede til små bogstaver og normaliserede) kombineres til én nøglestreng, sikres ensartet matchning på tværs af datakilder, hvor den samme entitet kan være stavet en smule forskelligt i hver kilde.

Efter rensningen skal du validere, at alle værdier i en kategorisk tekstkolonne tilhører et kendt kanonisk sæt. En værdi, der ikke findes i sættet, kan være en ny legitim kategori eller en datafejl. Log eller markér ukendte værdier til manuel gennemgang i stedet for at fjerne dem uden videre, så intet overses.

Her er en komplet tekstbehandlingspipeline, der anvender alle teknikkerne fra denne lektion: fjern mellemrum, normaliser store og små bogstaver, ret forkortelser, fjern specialtegn, og valider mod en kanonisk liste. Det er den slags genanvendelige funktion, du kan føje til ethvert modul til dataindlæsning.

I denne lektion har du lært at sammenkæde kolonner med + operatoren efter konvertering af numeriske værdier til tekst, bruge str.cat(sep=) til at sammenkæde med et skilletegn og håndtere NaN, anvende en kanonisk afbildning med .map() for at normalisere inkonsistente etiketter og bruge explode() til at udfolde celler med listeværdier til rækker. Håndhæv kanoniske sæt for tidligt at opdage problemer med datakvaliteten. Næste gang sorterer vi DataFrames efter kolonneværdier.