Bramki sterujące pamięcią

Proste RNN ma trudności z zapamiętywaniem informacji z odległej przeszłości. Model LSTM stworzono właśnie po to, aby rozwiązać ten problem przez staranne zarządzanie tym, co zachowuje i czego zapomina. 🧠

LSTM przechowuje specjalny stan komórki — linię pamięci biegnącą bezpośrednio przez każdy krok, dzięki czemu ważne sygnały przetrwają długie sekwencje.

Magia kryje się w bramkach: niewielkich, uczonych przełącznikach, które w każdym kroku czasowym decydują, co dodać, zachować lub usunąć z pamięci.

Każda bramka używa funkcji sigmoid, aby zwrócić wartości od 0 do 1. Działa jak ściemniacz, który przepuszcza część informacji, a blokuje resztę.

Bramka zapominania analizuje nowe wejście i decyduje, jak dużą część starej pamięci wymazać. Wartość 0 usuwa ją całkowicie, a 1 zachowuje ją w całości.

Bramka wejściowa kontroluje, jak dużo nowych informacji zostanie zapisanych w stanie komórki, dzięki czemu przechowywane są tylko przydatne sygnały.

Wektor kandydujący proponuje, jaka nowa treść może trafić do pamięci. Następnie bramka wejściowa skaluje ilość informacji, która faktycznie zostanie dodana.

Nowy stan komórki łączy starą pamięć zachowaną przez bramkę zapominania z nowymi wartościami kandydującymi przepuszczonymi przez bramkę wejściową.

Bramka wyjściowa decyduje, która część stanu komórki stanie się widocznym stanem ukrytym przekazywanym do następnego kroku i wyższej warstwy.

Ponieważ bramki sprawiają, że stan komórki jest w większości addytywny, gradienty mogą przepływać przez wiele kroków wstecz bez zanikania. Właśnie tak LSTM zapamiętuje odległy kontekst.

LSTM ma więc trzy bramki strzegące jednej linii pamięci: zapominania, wejściową i wyjściową. Każda z nich jest uczona na podstawie danych podczas treningu.

LSTM chroni stan komórki za pomocą bramki zapominania, wejściowej i wyjściowej. Te przełączniki podtrzymują pamięć odległego kontekstu tam, gdzie zwykłe RNN sobie nie radzą. ✅