Grad-CAM: scopra cosa osserva il modello

Una CNN può avere ragione per il motivo sbagliato. Grad-CAM rivela quali pixel hanno effettivamente determinato una previsione, così può valutarla o metterla in discussione.

Grad-CAM sovrappone una mappa di calore all'input. Le regioni calde indicano dove il modello si è concentrato; quelle fredde ciò che ha ignorato. 🔥

Grad-CAM riconduce il gradiente del punteggio della classe scelta a un layer convoluzionale, misurando quanto fosse importante ciascuna mappa delle feature.

Le mappe migliori provengono dall'ultimo layer convoluzionale, in cui le feature sono ricche ma conservano ancora una localizzazione spaziale sufficiente.

Calcoli la media dei gradienti per ottenere un peso per ogni mappa delle feature, quindi combini le mappe con questi pesi in un'unica mappa approssimativa.

Una ReLU applicata alla mappa combinata conserva le regioni che aumentano il punteggio della classe, eliminando i pixel che la sfavoriscono.

La mappa è piccola, quindi deve eseguire un upsampling fino alla risoluzione dell'immagine prima di sovrapporla, per ottenere una visualizzazione chiara.

Se la mappa di calore illumina lo sfondo invece dell'oggetto, il modello ha imparato una scorciatoia, non il segnale reale.

Esegua Grad-CAM sulle previsioni errate per capire cosa ha indotto il modello in errore. La regione su cui si è concentrato spesso spiega immediatamente l'errore.

Una prova visiva chiara di dove guarda il modello rende molto più facile spiegarlo e difenderlo in applicazioni reali.

Grad-CAM è una visualizzazione approssimativa, non una dimostrazione matematica esatta. La consideri un'indicazione importante e verifichi poi con altri controlli. 🪟

Usi Grad-CAM per trasformare i gradienti in una mappa di calore sull'immagine, rivelando cosa ha determinato una previsione e individuando l'apprendimento di scorciatoie. 🎯