Värmekartor för korrelationsmatriser

En korrelationsmatris är en kvadratisk tabell där posten (i, j) innehåller Pearsons korrelationskoefficient mellan kolumn i och kolumn j. Värdena sträcker sig från -1 (perfekt negativ linjär korrelation) till +1 (perfekt positiv), där 0 betyder att det inte finns något linjärt samband. Diagonalen är alltid 1 (en variabel är perfekt korrelerad med sig själv). Korrelationsmatriser är det första steget när man vill förstå vilka variabler som förändras tillsammans innan man bygger en modell.

Anropa DataFrame.corr() för att beräkna parvisa Pearson-korrelationer för alla numeriska kolumner. Parametern method styr vilken korrelation som ska beräknas: 'pearson' (standard, linjär), 'spearman' (rangbaserad, robust mot avvikare och icke-linjära monotona samband) eller 'kendall'. För skeva finansiella data eller antalsdata är Spearman ofta mer informativt än Pearson.

sns.heatmap(data) tar en tvådimensionell matris eller DataFrame och återger den som ett färgrutnät — färgen i varje cell kodar dess numeriska värde. När funktionen används på en korrelationsmatris representerar varma färger (rött) vanligtvis positiv korrelation, medan kalla färger (blått) representerar negativ korrelation. Parametern annot=True skriver ut det numeriska värdet i varje cell, vilket är avgörande för att läsa av en korrelationsvärmekarta korrekt.

För korrelationsmatriser ska Ni alltid använda en divergerande färgkarta centrerad kring noll: cmap='coolwarm', 'RdBu_r' eller 'vlag'. Dessa kartor använder en färg för positiva värden, en annan för negativa och en neutral mittpunkt vid noll. Undvik sekventiella färgkartor (som 'Blues') för korrelationsdata, eftersom de gör det omöjligt att visuellt skilja mellan positiva och negativa korrelationer. Ange vmin=-1, vmax=1 för att låsa färgskalan till hela korrelationsintervallet.

Eftersom en korrelationsmatris är symmetrisk (corr[i,j] == corr[j,i]) är det överflödigt att visa båda halvorna. Använd np.triu för att skapa en mask för den övre triangeln och skicka den till mask= i sns.heatmap. Det halverar antalet celler och gör diagrammet mindre rörigt och lättare att läsa. Diagonalvärdena (alla 1.0) kan också maskeras eftersom de inte tillför någon information.

Styr etikettformatet med fmt= (till exempel '.2f' för två decimaler) och teckenstorleken med annot_kws={'size': 10}. Parametern linewidths lägger till tunna linjer mellan cellerna, vilket gör rutnätet lättare att läsa för stora matriser. Använd square=True för att tvinga fram kvadratiska celler oavsett figurens mått, vilket ger värmekartor ett rent och balanserat utseende.

sns.clustermap() ordnar om rader och kolumner med hjälp av hierarkisk klustring för att gruppera variabler med liknande korrelationsmönster. Det gör det mycket enklare att identifiera block av korrelerade egenskaper i stora matriser. Dendrogrammet på de övre och vänstra axlarna visar klustringsträdet. Använd method='ward' och metric='euclidean' som rimliga standardvärden för korrelationsbaserad klustring.

Värmekartor är inte begränsade till korrelationsmatriser — alla tvådimensionella numeriska tabeller kan dra nytta av färgkodning. Ett vanligt mönster är att beräkna en pivottabell (till exempel genomsnittlig dricks per dag och tid) och sedan visualisera den som en värmekarta. Det omvandlar en tät tabell med siffror till ett färgrutnät som snabbt kan överblickas, där de högsta och lägsta värdena framträder visuellt.

Använd följande ungefärliga riktvärden när Ni tolkar korrelationer: |r| < 0.2 = försumbar, 0.2-0.4 = svag, 0.4-0.6 = måttlig, 0.6-0.8 = stark, > 0.8 = mycket stark. Korrelation säger dock ingenting om kausalitet och kan vara skenbar (korrelerad av en slump på grund av en tredje, bakomliggande variabel). Kombinera alltid numerisk korrelationsanalys med spridningsdiagram för att kontrollera att sambandet faktiskt är linjärt och inte drivs av avvikare.

För DataFrames med många kolumner blir en fullständig korrelationsvärmekarta oläslig. Ett bättre tillvägagångssätt är att filtrera korrelationsmatrisen så att endast par med |r| över ett tröskelvärde visas (till exempel 0.5), eller att välja ut de egenskaper som korrelerar starkast med en målvariabel. Ni kan också skapa delmängder utifrån domän — till exempel genom att separat visa korrelationer mellan finansiella mått och mellan operativa mått i en affärsdatamängd.

Värmekartor ingår ofta i rapporter och presentationer. Anropa plt.savefig('filename.png', dpi=150, bbox_inches='tight') efter att värmekartan har skapats för att spara den. Argumentet bbox_inches='tight' förhindrar att axeltext beskärs. För PDF-rapporter använder Ni format='pdf'. När Ni använder sns.clustermap lagras figuren i det returnerade objektet: g = sns.clustermap(...); g.savefig('plot.png').

I den här lektionen har Ni lärt Er att DataFrame.corr() beräknar parvisa korrelationer, att sns.heatmap återger dem som ett färgrutnät med divergerande färgkartor och annoteringar samt att maskering av den övre triangeln tar bort överflödig information. Härnäst utforskar vi hela arbetsflödet för explorativ dataanalys — en systematisk checklista för profilering av alla nya datamängder.