Softmax per le probabilità

L’ultimo layer di un classificatore restituisce punteggi grezzi, uno per classe. Questi numeri non limitati sono chiamati logits e sono difficili da interpretare direttamente. 🔢

Softmax trasforma un vettore di logits in una distribuzione di probabilità chiara su tutte le classi. Ora ogni punteggio diventa una probabilità.

Softmax garantisce due proprietà: ogni valore in uscita è compreso tra 0 e 1 e tutti i valori sommano a uno. È esattamente ciò che serve a una distribuzione.

Softmax calcola l’esponenziale di ogni logit, quindi divide per il totale. L’esponenziale fa prevalere i logits più grandi, rendendo più netto il vincitore.

Softmax considera le differenze tra i logits, non la loro grandezza assoluta. Aggiungere la stessa costante a ogni logit lascia invariate le probabilità.

Usate sigmoid per un’unica uscita sì/no. Usate softmax quando le classi competono e deve prevalere esattamente una tra diverse possibilità.

Per ottenere la classe predetta, calcolate l’argmax dell’uscita di softmax. Quell’indice corrisponde alla classe con la probabilità più alta.

Impostate sempre il dim corretto, in modo che softmax normalizzi tra le classi e non tra gli elementi del batch. Un asse errato compromette silenziosamente le probabilità.

Durante l’addestramento, di solito non applicate softmax direttamente. La funzione di costo cross-entropy si aspetta i logits grezzi e la applica internamente.

Combinare softmax e il logaritmo in un’unica funzione è più stabile dal punto di vista numerico. Eseguire entrambi i passaggi manualmente può causare overflow o perdita di precisione.

Dividere i logits per una temperatura prima di softmax permette di controllare la sicurezza delle previsioni. Valori bassi rendono il picco più pronunciato, mentre valori alti lo appiattiscono.

Softmax converte i logits in probabilità la cui somma è uno, perfette per un’uscita multiclass. Durante l’addestramento, però, lasciate che se ne occupi cross-entropy. 🏁