Funzioni di attivazione

Le funzioni di attivazione sono una componente fondamentale delle reti neurali. Determinano se un neurone deve attivarsi in base all'input che riceve.

Senza funzioni di attivazione, la rete neurale si comporterebbe come un modello lineare, limitando la sua capacità di apprendere schemi complessi.

Tipi di funzioni di attivazione

Tra i tipi più comuni di funzioni di attivazione:

• Sigmoid: Restituisce valori compresi tra 0 e 1.
• ReLU (Rectified Linear Unit): Restituisce l'input se è positivo, altrimenti 0.
• Softmax: Converte gli output in probabilità per le attività di classificazione.

Funzione Sigmoid

La funzione Sigmoid mappa qualsiasi valore di input in un intervallo compreso tra 0 e 1, risultando adatta alla classificazione binaria.

Formula:

σ(x) = 1 / (1 + e^(-x))

Riduce l'ampiezza degli input elevati e restituisce valori vicini a 0 o 1.

Funzione ReLU

La funzione ReLU (Rectified Linear Unit) è definita come segue:

ReLU(x) = max(0, x)

Restituisce 0 per gli input negativi e il valore dell'input stesso per quelli positivi. ReLU è efficiente dal punto di vista computazionale e contribuisce ad affrontare il problema del gradiente evanescente.

Funzione Softmax

La funzione Softmax viene utilizzata nello strato di output per la classificazione multiclasse. Converte i punteggi grezzi in probabilità:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Tutti i valori di output vengono normalizzati in modo che la loro somma sia 1.

Scegliere la funzione di attivazione giusta

La scelta della funzione di attivazione dipende dall'attività:

• Sigmoid: Per la classificazione binaria.
• ReLU: Per gli strati nascosti nelle reti profonde.
• Softmax: Per i problemi di classificazione multiclasse.

Vantaggi delle funzioni di attivazione

Le funzioni di attivazione consentono alle reti neurali di:

• Apprendere schemi complessi e non lineari.
• Distinguere efficacemente tra gli input.
• Adattarsi a diversi tipi di dati e attività.

Problemi delle funzioni di attivazione

Tra i possibili problemi:

• Sigmoid: Può causare gradienti evanescenti durante l'addestramento.
• ReLU: Può portare a "neuroni morti", in cui alcuni neuroni smettono di apprendere.
• Softmax: È onerosa dal punto di vista computazionale per gli output di grandi dimensioni.

Riepilogo e prossimi passi

In questa lezione abbiamo:

• Esplorato funzioni di attivazione come Sigmoid, ReLU e Softmax.
• Analizzato il loro ruolo e i casi d'uso nelle reti neurali.
• Discusso i loro vantaggi e le loro difficoltà.

In seguito costruiremo una semplice rete neurale feedforward e ne analizzeremo la struttura e il funzionamento.