GRU : une alternative plus légère

Le GRU est un cousin plus léger du LSTM. Il poursuit le même objectif, une mémoire longue, mais avec moins de portes et moins de paramètres. ⚡

Contrairement au LSTM, un GRU n’a pas d’état de cellule distinct. Il conserve tout dans un seul état caché, qu’il met à jour à chaque étape.

Un GRU n’utilise que deux portes : une porte de mise à jour et une porte de réinitialisation. C’est une porte de moins que dans le LSTM, ce qui réduit les calculs et la mémoire nécessaires.

La porte de mise à jour décide quelle quantité de l’ancien état caché reporter et quelle quantité de nouvelles informations laisser entrer.

La porte de réinitialisation contrôle la quantité de mémoire passée intégrée au nouveau candidat, ce qui permet à la cellule d’ignorer un contexte obsolète si nécessaire.

À l’aide de la porte de réinitialisation, le GRU construit un état caché candidat, une nouvelle proposition de ce que pourrait être la mémoire à cette étape.

Le nouvel état caché est un mélange progressif : la porte de mise à jour combine l’état précédent et le candidat dans une équation simple.

Avec une porte de moins et sans état de cellule, un GRU possède moins de paramètres. Il s’entraîne souvent plus vite et nécessite moins de données pour bien s’ajuster.

Pour de nombreuses tâches, un GRU atteint une précision comparable à celle d’un LSTM. Sa cellule plus petite nuit rarement aux résultats, ce qui en fait un choix par défaut solide pour les modèles séquentiels.

Essayez d’abord un GRU pour gagner en rapidité avec de petits jeux de données. Choisissez un LSTM lorsque des dépendances très longues exigent son contrôle supplémentaire de la mémoire.

Dans Keras, le remplacement est trivial : remplacez la couche LSTM par une couche GRU et laissez le reste de votre modèle inchangé.

Un GRU réduit le LSTM à deux portes et un état. Il est plus rapide et plus léger, tout en offrant une précision similaire pour la plupart des tâches. ✅