Heatmap per matrici di correlazione

Una matrice di correlazione è una tabella quadrata in cui l'elemento (i, j) contiene il coefficiente di correlazione di Pearson tra la colonna i e la colonna j. I valori variano da -1 (correlazione lineare negativa perfetta) a +1 (positiva perfetta), mentre 0 indica l'assenza di una relazione lineare. La diagonale è sempre pari a 1 (una variabile è perfettamente correlata con sé stessa). Le matrici di correlazione sono il primo passo per capire quali variabili variano insieme prima di costruire un modello.

Chiami DataFrame.corr() per calcolare le correlazioni di Pearson a coppie per tutte le colonne numeriche. Il parametro method controlla quale correlazione calcolare: 'pearson' (predefinita, lineare), 'spearman' (basata sui ranghi, robusta rispetto agli outlier e alle relazioni monotone non lineari) oppure 'kendall'. Per dati finanziari o dati di conteggio asimmetrici, Spearman è spesso più informativa di Pearson.

sns.heatmap(data) accetta un array 2D o un DataFrame e lo visualizza come una griglia colorata: il colore di ogni cella codifica il suo valore numerico. Quando viene applicata a una matrice di correlazione, i colori caldi (rosso) rappresentano in genere una correlazione positiva, mentre i colori freddi (blu) rappresentano una correlazione negativa. Il parametro annot=True stampa il valore numerico all'interno di ogni cella, un'opzione essenziale per leggere correttamente una mappa di calore della correlazione.

Per le matrici di correlazione, utilizzi sempre una scala cromatica divergente centrata sullo zero: cmap='coolwarm', 'RdBu_r' oppure 'vlag'. Queste scale usano un colore per i valori positivi, un altro per quelli negativi e un punto intermedio neutro in corrispondenza dello zero. Eviti le scale cromatiche sequenziali (come 'Blues') per i dati di correlazione, perché rendono impossibile distinguere visivamente le correlazioni positive da quelle negative. Imposti vmin=-1, vmax=1 per fissare la scala cromatica all'intero intervallo della correlazione.

Poiché una matrice di correlazione è simmetrica (corr[i,j] == corr[j,i]), mostrare entrambe le metà è ridondante. Usi np.triu per creare una maschera del triangolo superiore e la passi a mask= in sns.heatmap. In questo modo il numero di celle si dimezza, rendendo il grafico meno affollato e più facile da leggere. È possibile mascherare anche i valori della diagonale (tutti 1.0), poiché non forniscono informazioni.

Controlli il formato delle annotazioni con fmt= (ad esempio '.2f' per due cifre decimali) e la dimensione del carattere con annot_kws={'size': 10}. Il parametro linewidths aggiunge linee sottili tra le celle, facilitando la lettura della griglia per le matrici di grandi dimensioni. Usi square=True per forzare celle quadrate indipendentemente dalle dimensioni della figura, ottenendo mappe di calore dall'aspetto ordinato ed equilibrato.

sns.clustermap() riordina righe e colonne usando il clustering gerarchico per raggruppare le variabili con modelli di correlazione simili. Questo facilita notevolmente l'identificazione di gruppi di caratteristiche correlate nelle matrici di grandi dimensioni. Il dendrogramma sugli assi superiore e sinistro mostra l'albero del clustering. Usi method='ward' e metric='euclidean' come valori predefiniti ragionevoli per il clustering basato sulle correlazioni.

Le mappe di calore non sono limitate alle matrici di correlazione: qualsiasi tabella numerica 2D può trarre vantaggio dalla codifica tramite colori. Un approccio comune consiste nel calcolare una tabella pivot (ad esempio, la mancia media per giorno e ora) e visualizzarla quindi come mappa di calore. In questo modo una tabella densa di numeri diventa una griglia colorata immediatamente leggibile, in cui i valori più alti e più bassi risaltano a colpo d'occhio.

Quando interpreta le correlazioni, usi questi riferimenti approssimativi: |r| < 0.2 = trascurabile, 0.2-0.4 = debole, 0.4-0.6 = moderata, 0.6-0.8 = forte, > 0.8 = molto forte. Tuttavia, la correlazione non fornisce alcuna informazione sulla causalità e può essere spuria (una correlazione casuale dovuta a una terza variabile confondente). Affianchi sempre all'analisi numerica della correlazione alcuni grafici a dispersione, per verificare che la relazione sia effettivamente lineare e non dipenda dagli outlier.

Per i DataFrame con molte colonne, una mappa di calore completa delle correlazioni diventa illeggibile. Un approccio migliore consiste nel filtrare la matrice di correlazione per mostrare solo le coppie con |r| superiore a una soglia (ad esempio 0.5), oppure nel selezionare solo le caratteristiche maggiormente correlate con una variabile obiettivo. Può anche creare sottoinsiemi in base al dominio: ad esempio, può rappresentare separatamente le correlazioni tra metriche finanziarie e quelle tra metriche operative in un dataset aziendale.

Le mappe di calore vengono spesso incluse in report e presentazioni. Dopo aver creato la mappa di calore, chiami plt.savefig('filename.png', dpi=150, bbox_inches='tight') per salvarla. L'argomento bbox_inches='tight' impedisce che le etichette degli assi vengano tagliate. Per i report in PDF, usi format='pdf'. Quando usa sns.clustermap, la figura viene memorizzata nell'oggetto restituito: g = sns.clustermap(...); g.savefig('plot.png').

Verifichi la Sua comprensione delle mappe di calore delle correlazioni illustrate in questa lezione.

In questa lezione ha imparato che DataFrame.corr() calcola le correlazioni a coppie, sns.heatmap le visualizza come una griglia colorata con scale cromatiche divergenti e annotazioni e il mascheramento del triangolo superiore elimina la ridondanza. Ora esploreremo l'intero processo di analisi esplorativa dei dati (EDA), una checklist sistematica per profilare qualsiasi nuovo dataset.