Fonctions d’activation

Les fonctions d’activation jouent un rôle essentiel dans les réseaux neuronaux. Elles déterminent si un neurone doit être activé en fonction de l’entrée qu’il reçoit.

Sans fonctions d’activation, le réseau neuronal se comporterait comme un modèle linéaire, ce qui limiterait sa capacité à apprendre des modèles complexes.

Types de fonctions d’activation

Parmi les types courants de fonctions d’activation :

• Sigmoïde : produit des valeurs comprises entre 0 et 1.
• ReLU (unité linéaire rectifiée) : produit l’entrée si celle-ci est positive, et 0 dans le cas contraire.
• Normalisation exponentielle : convertit les sorties en probabilités pour les tâches de classification.

Fonction sigmoïde

La fonction sigmoïde associe à toute valeur d’entrée une valeur comprise entre 0 et 1, ce qui la rend adaptée à la classification binaire.

Formule :

σ(x) = 1 / (1 + e^(-x))

Elle comprime les grandes valeurs d’entrée et produit des valeurs proches de 0 ou de 1.

Fonction ReLU

La fonction ReLU (unité linéaire rectifiée) est définie ainsi :

ReLU(x) = max(0, x)

Elle produit 0 pour les entrées négatives et la valeur d’entrée elle-même pour les entrées positives. ReLU est efficace sur le plan des calculs et contribue à résoudre le problème de la disparition du gradient.

Fonction de normalisation exponentielle

La fonction de normalisation exponentielle est utilisée dans la couche de sortie pour la classification multiclasse. Elle convertit les scores bruts en probabilités :

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Toutes les valeurs de sortie sont normalisées de manière à ce que leur somme soit égale à 1.

Choisir la bonne fonction d’activation

Le choix de la fonction d’activation dépend de la tâche :

• Sigmoïde : pour la classification binaire.
• ReLU : pour les couches cachées des réseaux profonds.
• Normalisation exponentielle : pour les problèmes de classification multiclasse.

Avantages des fonctions d’activation

Les fonctions d’activation permettent aux réseaux neuronaux de :

• apprendre des modèles complexes et non linéaires ;
• différencier efficacement les entrées ;
• s’adapter à différents types de données et de tâches.

Difficultés liées aux fonctions d’activation

Parmi les problèmes possibles :

• Sigmoïde : peut provoquer une disparition des gradients pendant l’entraînement.
• ReLU : peut entraîner l’apparition de « neurones morts » lorsque certains neurones cessent d’apprendre.
• Normalisation exponentielle : coûteuse en calcul pour les sorties volumineuses.

Résumé et prochaines étapes

Dans cette leçon, nous avons :

• exploré des fonctions d’activation comme la fonction sigmoïde, ReLU et la fonction de normalisation exponentielle ;
• étudié leur rôle et leurs cas d’utilisation dans les réseaux neuronaux ;
• abordé leurs avantages et leurs difficultés.

Ensuite, nous construirons un réseau neuronal simple à propagation avant et nous en comprendrons la structure et le fonctionnement.