Le problème du gradient qui disparaît

Les RNN simples semblent puissants, mais ils ont du mal à mémoriser le contexte à longue portée. La cause en est le problème de disparition du gradient.

Les réseaux apprennent en envoyant des signaux d’erreur, appelés gradients, vers l’arrière à travers le temps afin d’ajuster chaque poids dans la bonne direction.

Pour un RNN, cette propagation vers l’arrière se déroule à chaque étape. Une phrase longue forme donc une très longue chaîne de multiplications.

Lorsque vous multipliez entre elles de nombreuses valeurs inférieures à un, le résultat se rapproche rapidement de zéro. Le gradient s’estompe bien avant d’atteindre les premiers mots.

Comme le signal disparaît, le réseau met à peine à jour les poids liés aux premiers jetons, et le contexte éloigné est donc pratiquement perdu.

Imaginez que vous multipliiez 0,5 par lui-même vingt fois. La valeur disparaît presque, et c’est ce qui arrive aux gradients après de nombreuses étapes.

Les gradients peuvent aussi exploser lorsque les valeurs dépassent un, devenir énormes et déstabiliser l’apprentissage par de fortes variations des poids.

Les gradients qui explosent se corrigent facilement : l’écrêtage des gradients limite leur amplitude afin qu’une seule étape ne puisse pas faire dérailler votre modèle.

Les gradients qui disparaissent résistent aux corrections simples, si bien que les RNN simples continuent d’oublier. Il nous faut une cellule plus intelligente pour conserver la mémoire sur de nombreuses étapes.

Les architectures spécialisées dotées de portes, comme LSTM et GRU, contrôlent ce qu’il faut conserver ou oublier et préservent les signaux à longue portée.

Comprendre cette limite explique pourquoi les modèles séquentiels modernes existent : ils ont été conçus pour maintenir les gradients sur de longues distances. 💡

Dans les longues séquences, les gradients des RNN simples disparaissent, effaçant le contexte éloigné. Les cellules à portes comme LSTM et GRU sont la solution que nous allons étudier. 🎯