Проблема исчезающего градиента

Обычные RNN выглядят мощными, но им трудно запоминать дальний контекст. Причина — проблема исчезающего градиента.

Сети обучаются, передавая сигналы ошибки, называемые градиентами, назад во времени, чтобы немного изменить каждый вес в правильном направлении.

Для RNN этот обратный проход разворачивается на каждом шаге, поэтому длинное предложение означает очень длинную цепочку умножений.

Когда Вы перемножаете множество значений меньше единицы, результат стремительно приближается к нулю. Градиент затухает задолго до того, как достигает первых слов.

Поскольку сигнал исчезает, сеть почти не обновляет веса, связанные с первыми токенами, поэтому дальний контекст фактически теряется.

Представьте, что Вы умножаете 0,5 само на себя двадцать раз. Значение почти исчезает — именно это происходит с градиентами на глубоких шагах.

Градиенты также могут взрываться, когда значения превышают единицу: они становятся огромными и дестабилизируют обучение резкими скачками весов.

У взрыва градиентов есть простое решение: ограничение градиента ограничивает их величину, поэтому один шаг не может вывести модель из-под контроля.

Затухающие градиенты плохо поддаются простым исправлениям, поэтому обычные RNN продолжают забывать. Нам нужна более умная ячейка, способная сохранять память на протяжении многих шагов.

Специальные архитектуры со вентилями, такие как LSTM и GRU, управляют тем, что следует сохранить или забыть, поддерживая сигналы на большом расстоянии.

Понимание этого ограничения объясняет, зачем вообще появились современные модели последовательностей: их создали, чтобы сохранять градиенты на большом расстоянии. 💡

В длинных последовательностях градиенты обычной RNN затухают, стирая дальний контекст. Ячейки с вентилями, такие как LSTM и GRU, — это решение, которое мы рассмотрим далее. 🎯