Jak RNN odczytuje sekwencję

Recurrent neural network odczytuje tekst tak jak Ty: bierze jeden token, potem następny, nigdy nie analizując całego zdania za jednym razem.

Na każdym kroku RNN przechowuje niewielką pamięć nazywaną stanem ukrytym — wektorem podsumowującym wszystko, co do tej pory odczytał.

Ta sama komórka uruchamia się wielokrotnie, raz dla każdego słowa. Ta powtarzalna, zapętlona struktura wyjaśnia, dlaczego nazywamy ją rekurencyjną.

Każde nowe słowo aktualizuje stan ukryty, dzięki czemu kontekst z wcześniejszej części zdania płynnie przechodzi do kolejnych kroków.

W uproszczeniu nowy stan łączy poprzedni stan z bieżącym wejściem za pomocą wyuczonych wag i funkcji aktywacji.

RNN ponownie wykorzystuje te same wagi na każdej pozycji. Dzięki temu może obsługiwać zdania o dowolnej długości za pomocą jednej niewielkiej komórki.

Każde słowo najpierw staje się liczbowym embeddingiem. RNN nie widzi liter, lecz tylko te gęste wektory napływające pojedynczo.

Podczas odczytywania zdania „I love this” stan zmienia się po „I”, ponownie po „love”, a końcowy stan odzwierciedla całe krótkie wyrażenie.

W klasyfikacji stan ukryty po ostatnim słowie jest często używany jako podsumowanie całej sekwencji.

Możesz również odczytywać wyjście na każdym kroku, co przydaje się na przykład do przypisywania etykiet części mowy poszczególnym słowom.

Ponieważ stan przechowuje przeszłość, RNN może w końcu zauważyć, że słowo not zmienia znaczenie następującego po nim słowa. 🔁

RNN przechodzi po tokenach w pętli, aktualizując stan ukryty, który pamięta przeszłość. Dzięki temu kolejność i kontekst w końcu wpływają na jego wynik. 🎯