Funzioni di attivazione

Le funzioni di attivazione sono una componente fondamentale delle reti neurali. Determinano se un neurone deve essere attivato in base all'input ricevuto.

Senza funzioni di attivazione, la rete neurale si comporterebbe come un modello lineare, limitando la sua capacità di apprendere schemi complessi.

Tipi di funzioni di attivazione

Tra i tipi più comuni di funzioni di attivazione ci sono:

• Sigmoid: Restituisce valori compresi tra 0 e 1.
• ReLU (unità lineare rettificata): Restituisce l'input se è positivo, altrimenti 0.
• Softmax: Converte gli output in probabilità per le attività di classificazione.

Funzione Sigmoid

La funzione Sigmoid mappa qualsiasi valore di input in un intervallo compreso tra 0 e 1, rendendola adatta alla classificazione binaria.

Formula:

σ(x) = 1 / (1 + e^(-x))

Riduce i valori di input elevati e restituisce valori vicini a 0 o 1.

Funzione ReLU

La funzione ReLU (unità lineare rettificata) è definita come segue:

ReLU(x) = max(0, x)

Restituisce 0 per gli input negativi e il valore dell'input stesso per quelli positivi. ReLU è efficiente dal punto di vista computazionale e contribuisce ad affrontare il problema del gradiente evanescente.

Funzione Softmax

La funzione Softmax viene utilizzata nel livello di output per la classificazione multi-classe. Converte i punteggi grezzi in probabilità:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Tutti i valori in uscita sono normalizzati in modo che la loro somma sia 1.

Scegliere la funzione di attivazione giusta

La scelta della funzione di attivazione dipende dall'attività:

• Sigmoid: Per la classificazione binaria.
• ReLU: Per i livelli nascosti nelle reti profonde.
• Softmax: Per i problemi di classificazione multi-classe.

Vantaggi delle funzioni di attivazione

Le funzioni di attivazione permettono alle reti neurali di:

• Apprendere schemi complessi e non lineari.
• Distinguere efficacemente tra gli input.
• Adattarsi a diversi tipi di dati e attività.

Difficoltà delle funzioni di attivazione

Tra i problemi possibili ci sono:

• Sigmoid: Può causare gradienti evanescenti durante l'addestramento.
• ReLU: Può portare a «neuroni morti», ovvero neuroni che smettono di apprendere.
• Softmax: È computazionalmente costosa per output di grandi dimensioni.

Riepilogo e prossimi passaggi

In questa lezione abbiamo:

• Esplorato funzioni di attivazione come Sigmoid, ReLU e Softmax.
• Analizzato il loro ruolo e i casi d'uso nelle reti neurali.
• Discusso i loro vantaggi e le loro difficoltà.

Successivamente costruiremo una semplice rete neurale feedforward e ne comprenderemo la struttura e il funzionamento.