Fonctions d'activation

Les fonctions d'activation jouent un rôle essentiel dans les réseaux neuronaux. Elles déterminent si un neurone doit être activé en fonction de l'entrée qu'il reçoit.

Sans fonctions d'activation, le réseau neuronal se comporterait comme un modèle linéaire, ce qui limiterait sa capacité à apprendre des modèles complexes.

Types de fonctions d'activation

Les types courants de fonctions d'activation comprennent :

• Sigmoïde : Produit des valeurs comprises entre 0 et 1.
• ReLU (unité linéaire rectifiée) : Produit l'entrée si elle est positive, et 0 dans le cas contraire.
• Softmax : Convertit les sorties en probabilités pour les tâches de classification.

Fonction sigmoïde

La fonction sigmoïde associe toute valeur d'entrée à un intervalle compris entre 0 et 1, ce qui la rend adaptée à la classification binaire.

Formule :

σ(x) = 1 / (1 + e^(-x))

Elle comprime les grandes valeurs d'entrée et produit des valeurs proches de 0 ou de 1.

Fonction ReLU

La fonction ReLU (unité linéaire rectifiée) est définie comme suit :

ReLU(x) = max(0, x)

Elle produit 0 pour les entrées négatives et la valeur d'entrée elle-même pour les entrées positives. ReLU est efficace du point de vue des calculs et contribue à résoudre le problème de disparition du gradient.

Fonction softmax

La fonction softmax est utilisée dans la couche de sortie pour la classification multiclasse. Elle convertit les scores bruts en probabilités :

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Toutes les valeurs de sortie sont normalisées afin que leur somme soit égale à 1.

Choisir la bonne fonction d'activation

Le choix de la fonction d'activation dépend de la tâche :

• Sigmoïde : Pour la classification binaire.
• ReLU : Pour les couches cachées des réseaux profonds.
• Softmax : Pour les problèmes de classification multiclasse.

Avantages des fonctions d'activation

Les fonctions d'activation permettent aux réseaux neuronaux de :

• Apprendre des modèles complexes et non linéaires.
• Distinguer efficacement les entrées.
• S'adapter à différents types de données et de tâches.

Difficultés liées aux fonctions d'activation

Parmi les problèmes possibles figurent :

• Sigmoïde : Peut provoquer une disparition des gradients pendant l'entraînement.
• ReLU : Peut entraîner des « neurones morts », dont certains cessent d'apprendre.
• Softmax : Coûteuse en calcul pour un grand nombre de sorties.

Résumé et prochaines étapes

Dans cette leçon, nous avons :

• Exploré des fonctions d'activation comme la sigmoïde, ReLU et softmax.
• Étudié leur rôle et leurs cas d'utilisation dans les réseaux neuronaux.
• Examiné leurs avantages et leurs difficultés.

Nous allons ensuite construire un réseau neuronal simple à propagation avant et comprendre sa structure et son fonctionnement.