melt: fra bredt til langt format

Data kan struktureres i to grundlæggende former. Bredt format har én række pr. enhed og fordeler målinger på flere kolonner — f.eks. separate kolonner for salget i januar, februar og marts. Langt format har én række pr. observation med en kolonne for variabelnavnet og en anden for værdien. De fleste analysefunktioner i Pandas, biblioteker til maskinlæring og værktøjer til visualisering foretrækker langt format, hvilket gør melt() til et vigtigt værktøj til dataomformning.

pd.melt(df) (som også findes som df.melt()) konverterer en bred DataFrame til langt format. De vigtigste parametre er id_vars (kolonner, der skal bevares som uændrede identifikatorer), value_vars (kolonner, der skal omdannes til rækker), var_name (navnet på den nye variabelkolonne) og value_name (navnet på den nye værdikolonne).

Kald melt() med id_vars sat til de kolonner, du vil bevare som identifikatorer. Alle andre kolonner omdannes: deres navn bliver en værdi i den nye variabelkolonne, og deres celleværdier flyttes til værdikolonnen. Antallet af outputrækker svarer til antallet af inputrækker gange antallet af værdikolonner, der omdannes.

Som standard omdannes alle kolonner, der ikke står i id_vars. Brug value_vars til kun at omdanne en delmængde af kolonnerne. Kolonner, der hverken står i id_vars eller value_vars, fjernes fra resultatet. Det er nyttigt, når din brede DataFrame indeholder en blanding af tidsserie kolonner og andre attributter, som du ikke vil omdanne.

melt() bevarer de oprindelige rækkeindeks ved at gentage dem for hver variabel. Resultatet har ofte et ikke-sekventielt indeks som [0, 1, 0, 1, 0, 1]. Det er god praksis at kalde reset_index(drop=True) umiddelbart efter melt() for at få et rent, sekventielt indeks fra 0 til n-1 i outputtet.

melt() er begrebsmæssigt den omvendte operation af pivot() / pivot_table(). Du kan gå fra langt til bredt format med pivot_table() og fra bredt tilbage til langt format med melt(). Denne tur-retur-omformning bruges ofte i datapipelines: modtag data i bredt format, omform dem til langt format til visualisering med Seaborn eller til ML-funktioner, og omdan dem eventuelt tilbage til en rapporttabel.

Seaborns kategoriske og relationelle diagrammer fungerer bedst med data i langt format. En typisk arbejdsgang er: Start med en bred DataFrame, der har én kolonne pr. gruppe, konvertér den til langt format, så én kolonne identificerer gruppen, og en anden indeholder værdierne, og giv derefter begge videre til Seaborns parametre hue og x/y. Dette er en af de mest almindelige grunde til at bruge melt().

Som standard navngiver melt() den nye variabelkolonne 'variable' og værdikolonnen 'value'. Overskriv altid disse med meningsfulde navne ved hjælp af var_name og value_name. Beskrivende kolonnenavne gør efterfølgende kode lettere at læse og forhindrer forvirring, når en DataFrame har dusinvis af kolonner.

Et klassisk anvendelsesområde for melt() er svar på spørgeskemaer, hvor hver kolonne er et spørgsmål, og hver række er en respondent. Konverteringen omdanner dette brede format til langt format med kolonner for respondent-id, spørgsmålsnavn og svarværdi. Derefter kan du nemt beregne fordelingen af svar for hvert spørgsmål ved hjælp af groupby().

Efter konverteringen er rækkerne ordnet efter den oprindelige kolonnerækkefølge (Jan, Feb, Mar for hver række). Ofte vil du sortere efter identifikatorkolonnen først og derefter efter variabelkolonnen. Brug sort_values() på den konverterede DataFrame for at opnå den rækkefølge, der giver mest mening for din analyse eller efterfølgende behandling.

I en typisk databehandlingsarbejdsgang optræder melt() lige efter indlæsning eller oprydning i data i bredt format og før et analyse- eller modelleringsskridt. Placér den tidligt i arbejdsgangen, så du hurtigt får data i langt format. Derefter kan alle efterfølgende operationer (groupby, seaborn, sklearn) arbejde med de rene data i langt format uden særbehandling.

I denne lektion har du lært, at melt() konverterer bredt til langt format ved at omdanne kolonner til rækker; id_vars angiver, hvilke kolonner der forbliver faste, og value_vars vælger, hvilke kolonner der skal konverteres; var_name og value_name giver de nye kolonner beskrivende navne; og langt format foretrækkes til Seaborn, groupby og ML-arbejdsgange. Nu går vi videre til stack og unstack for at omforme MultiIndex-DataFrames.