Heatmaps für Korrelationsmatrizen

Eine Korrelationsmatrix ist eine quadratische Tabelle, in der der Eintrag (i, j) den Pearson-Korrelationskoeffizienten zwischen Spalte i und Spalte j enthält. Die Werte reichen von -1 (perfekt negative lineare Korrelation) bis +1 (perfekt positive Korrelation), wobei 0 keinen linearen Zusammenhang bedeutet. Die Diagonale ist immer 1 (eine Variable korreliert perfekt mit sich selbst). Korrelationsmatrizen sind der erste Schritt, um zu verstehen, welche Variablen sich gemeinsam verändern, bevor Sie ein Modell erstellen.

Rufen Sie DataFrame.corr() auf, um paarweise Pearson-Korrelationen für alle numerischen Spalten zu berechnen. Der Parameter method legt fest, welche Korrelation berechnet wird: 'pearson' (Standardwert, linear), 'spearman' (rangbasiert, robust gegenüber Ausreißern und nichtlinearen monotonen Zusammenhängen) oder 'kendall'. Bei schief verteilten Finanz- oder Zähldaten ist Spearman oft aussagekräftiger als Pearson.

sns.heatmap(data) nimmt ein zweidimensionales Array oder einen DataFrame entgegen und stellt ihn als Farbmatrix dar – die Farbe jeder Zelle kodiert ihren numerischen Wert. Bei einer Korrelationsmatrix stehen warme Farben (Rot) normalerweise für positive Korrelationen und kühle Farben (Blau) für negative. Der Parameter annot=True schreibt den numerischen Wert in jede Zelle und ist unverzichtbar, um eine Korrelations-Heatmap korrekt zu lesen.

Verwenden Sie für Korrelationsmatrizen immer eine divergierende Farbkarte mit Mittelpunkt bei null: cmap='coolwarm', 'RdBu_r' oder 'vlag'. Diese Karten verwenden eine Farbe für positive Werte, eine andere für negative Werte und einen neutralen Mittelpunkt bei null. Vermeiden Sie sequenzielle Farbkarten (wie 'Blues') für Korrelationsdaten, da sich damit positive und negative Korrelationen visuell nicht unterscheiden lassen. Setzen Sie vmin=-1, vmax=1, um die Farbskala auf den vollständigen Korrelationsbereich festzulegen.

Da eine Korrelationsmatrix symmetrisch ist (corr[i,j] == corr[j,i]), ist die Darstellung beider Hälften redundant. Verwenden Sie np.triu, um eine Maske für das obere Dreieck zu erstellen, und übergeben Sie sie mit mask= an sns.heatmap. Dadurch halbiert sich die Zahl der Zellen, sodass das Diagramm übersichtlicher und leichter lesbar wird. Auch die Diagonalwerte (alle 1.0) können maskiert werden, da sie keine Informationen enthalten.

Steuern Sie das Format der Annotation mit fmt= (z. B. '.2f' für zwei Dezimalstellen) und die Schriftgröße mit annot_kws={'size': 10}. Der Parameter linewidths fügt dünne Linien zwischen den Zellen ein und erleichtert so bei großen Matrizen das Lesen des Rasters. Verwenden Sie square=True, um unabhängig von den Abmessungen der Abbildung quadratische Zellen zu erzwingen. Dadurch erhalten Heatmaps ein klares, ausgewogenes Erscheinungsbild.

sns.clustermap() ordnet Zeilen und Spalten mithilfe des hierarchischen Clusterings neu an, um Variablen mit ähnlichen Korrelationsmustern zusammenzufassen. Dadurch lassen sich Gruppen korrelierter Merkmale in großen Matrizen deutlich leichter erkennen. Das Dendrogramm an den oberen und linken Achsen zeigt den Clusterbaum. Verwenden Sie method='ward' und metric='euclidean' als sinnvolle Standardwerte für korrelationsbasiertes Clustering.

Heatmaps sind nicht auf Korrelationsmatrizen beschränkt – jede numerische zweidimensionale Tabelle profitiert von der Kodierung durch Farben. Ein häufiges Vorgehen besteht darin, eine Pivot-Tabelle zu berechnen (z. B. das durchschnittliche Trinkgeld nach Tag und Uhrzeit) und anschließend als Heatmap darzustellen. So wird eine dichte Zahlentabelle in ein sofort erfassbares Farbraster umgewandelt, in dem die höchsten und niedrigsten Werte visuell hervorstechen.

Verwenden Sie bei der Interpretation von Korrelationen folgende grobe Richtwerte: |r| < 0.2 = vernachlässigbar, 0.2-0.4 = schwach, 0.4-0.6 = mittel, 0.6-0.8 = stark, > 0.8 = sehr stark. Korrelation sagt jedoch nichts über Kausalität aus und kann scheinhaft sein (zufällig durch eine dritte, konfundierende Variable korreliert). Kombinieren Sie die numerische Korrelationsanalyse immer mit Streudiagrammen, um zu überprüfen, ob der Zusammenhang tatsächlich linear ist und nicht durch Ausreißer bestimmt wird.

Bei DataFrames mit vielen Spalten wird eine vollständige Korrelations-Heatmap unlesbar. Ein besserer Ansatz besteht darin, die Korrelationsmatrix zu filtern, sodass nur Paare mit |r| oberhalb eines Schwellenwerts (z. B. 0.5) angezeigt werden, oder nur die Merkmale mit der stärksten Korrelation zu einer Zielvariable auszuwählen. Sie können die Auswahl auch nach Fachbereich einschränken – beispielsweise Korrelationen zwischen Finanzkennzahlen getrennt von operativen Kennzahlen in einem Geschäftsdataset darstellen.

Heatmaps werden häufig in Berichte und Präsentationen aufgenommen. Rufen Sie nach dem Erstellen der Heatmap plt.savefig('filename.png', dpi=150, bbox_inches='tight') auf, um sie zu speichern. Das Argument bbox_inches='tight' verhindert, dass Achsenbeschriftungen abgeschnitten werden. Verwenden Sie für PDF-Berichte format='pdf'. Bei sns.clustermap wird die Abbildung im zurückgegebenen Objekt gespeichert: g = sns.clustermap(...); g.savefig('plot.png').

Testen Sie Ihr Verständnis der Korrelations-Heatmaps aus dieser Lektion.

In dieser Lektion haben Sie gelernt: DataFrame.corr() berechnet paarweise Korrelationen, sns.heatmap stellt sie mit divergierenden Farbkarten und Annotationen als Farbraster dar, und das Maskieren des oberen Dreiecks entfernt Redundanzen. Als Nächstes untersuchen wir die vollständige Pipeline der explorativen Datenanalyse – eine systematische Checkliste zur Profilierung jedes neuen Datensatzes.