Heatmaps til korrelationsmatricer

En korrelationsmatrix er en kvadratisk tabel, hvor elementet (i, j) indeholder Pearsons korrelationskoefficient mellem kolonne i og kolonne j. Værdierne går fra -1 (perfekt negativ lineær korrelation) til +1 (perfekt positiv), hvor 0 betyder, at der ikke er nogen lineær sammenhæng. Diagonalen er altid 1 (en variabel er perfekt korreleret med sig selv). Korrelationsmatricer er første skridt til at forstå, hvilke variable der bevæger sig sammen, før du bygger en model.

Kald DataFrame.corr() for at beregne parvise Pearson-korrelationer for alle numeriske kolonner. Parameteren method styrer, hvilken korrelation der beregnes: 'pearson' (standard, lineær), 'spearman' (rangbaseret, robust over for afvigere og ikke-lineære monotone sammenhænge) eller 'kendall'. For skæve finansielle data eller tælledata er Spearman ofte mere informativ end Pearson.

sns.heatmap(data) tager et todimensionalt array eller en DataFrame og gengiver det som et farvegitter — farven i hver celle repræsenterer dens numeriske værdi. Når det anvendes på en korrelationsmatrix, repræsenterer varme farver (rød) typisk positiv korrelation, mens kolde farver (blå) repræsenterer negativ korrelation. Parameteren annot=True skriver den numeriske værdi inde i hver celle, hvilket er afgørende for at kunne læse et korrelationsheatmap korrekt.

Til korrelationsmatricer skal du altid bruge et divergerende farvekort centreret ved nul: cmap='coolwarm', 'RdBu_r' eller 'vlag'. Disse kort bruger én farve til positive værdier, en anden til negative og et neutralt midtpunkt ved nul. Undgå sekventielle farvekort (som 'Blues') til korrelationsdata, fordi de gør det umuligt visuelt at skelne mellem positive og negative korrelationer. Angiv vmin=-1, vmax=1 for at fastlåse farveskalaen til hele korrelationsintervallet.

Da en korrelationsmatrix er symmetrisk (corr[i,j] == corr[j,i]), er det overflødigt at vise begge halvdele. Brug np.triu til at oprette en maske for den øvre trekant, og giv den videre med mask= til sns.heatmap. Det halverer antallet af celler, så diagrammet bliver mindre rodet og lettere at læse. Diagonalværdierne (alle 1.0) kan også maskeres, da de ikke indeholder nogen information.

Styr formatet for annotationer med fmt= (f.eks. '.2f' for to decimaler) og skriftstørrelsen med annot_kws={'size': 10}. Parameteren linewidths tilføjer tynde linjer mellem cellerne, så gitteret bliver lettere at læse for store matricer. Brug square=True til at tvinge cellerne til at være kvadratiske uanset figurens dimensioner. Det giver heatmaps et rent og velafbalanceret udseende.

sns.clustermap() omorganiserer rækker og kolonner ved hjælp af hierarkisk klyngedannelse, så variable med lignende korrelationsmønstre grupperes sammen. Det gør det meget lettere at identificere blokke af korrelerede egenskaber i store matricer. Dendrogrammet på de øverste og venstre akser viser klyngedannelsens træ. Brug method='ward' og metric='euclidean' som fornuftige standardværdier til korrelationsbaseret klyngedannelse.

Heatmaps er ikke begrænset til korrelationsmatricer — enhver todimensional numerisk tabel kan drage fordel af farvekodning. Et almindeligt mønster er at beregne en pivottabel (f.eks. det gennemsnitlige drikkepengebeløb efter dag og tidspunkt) og derefter visualisere den som et heatmap. Det omdanner en tæt tabel med tal til et farvegitter, der hurtigt kan aflæses, hvor de højeste og laveste værdier straks springer i øjnene.

Brug disse omtrentlige tommelfingerregler, når du fortolker korrelationer: |r| < 0.2 = ubetydelig, 0.2-0.4 = svag, 0.4-0.6 = moderat, 0.6-0.8 = stærk, > 0.8 = meget stærk. Korrelation fortæller dog intet om årsagssammenhæng og kan være tilsyneladende (korreleret tilfældigt på grund af en tredje, forstyrrende variabel). Kombinér altid numerisk korrelationsanalyse med punktdiagrammer for at kontrollere, at sammenhængen faktisk er lineær og ikke skyldes afvigere.

For DataFrames med mange kolonner bliver et komplet korrelationsheatmap ulæseligt. En bedre fremgangsmåde er at filtrere korrelationsmatricen, så den kun viser par med |r| over en tærskel (f.eks. 0.5), eller kun vælge de egenskaber, der korrelerer mest med en målvariabel. Du kan også udvælge efter fagområde — for eksempel plotte korrelationer mellem finansielle målepunkter separat fra operationelle målepunkter i et forretningsdatasæt.

Heatmaps indgår ofte i rapporter og præsentationer. Kald plt.savefig('filename.png', dpi=150, bbox_inches='tight') efter oprettelsen af heatmappet for at gemme det. Argumentet bbox_inches='tight' forhindrer, at aksemærkater bliver beskåret. Brug format='pdf' til PDF-rapporter. Når du bruger sns.clustermap, gemmes figuren i det returnerede objekt: g = sns.clustermap(...); g.savefig('plot.png').

I denne lektion lærte du, at DataFrame.corr() beregner parvise korrelationer, at sns.heatmap gengiver dem som et farvegitter med divergerende farvekort og annotationer, og at maskering af den øvre trekant fjerner overflødig information. Nu skal vi se på den komplette arbejdsgang for eksplorativ dataanalyse — en systematisk tjekliste til profilering af ethvert nyt datasæt.