Sequence-to-One: analiza sentymentu za pomocą LSTM

W zadaniach typu sequence-to-one model odczytuje całą sekwencję i generuje pojedynczą etykietę wyjściową. Klasycznym przykładem jest analiza sentymentu: na podstawie pełnej recenzji filmu („Podobała mi się każda minuta tego filmu”) należy przewidzieć jedną etykietę — pozytywną lub negatywną.

Różni się to od zadań typu sequence-to-sequence (tłumaczenie, w którym każdy token wejściowy generuje token wyjściowy) oraz one-to-sequence (tworzenie opisów obrazów). W zadaniu sequence-to-one odrzucamy wyjścia LSTM z pośrednich kroków i używamy tylko końcowego stanu ukrytego h_T, który teoretycznie koduje znaczenie całej sekwencji wejściowej.

Zbiór danych IMDB zawiera 50 000 recenzji filmów (25 000 treningowych i 25 000 testowych) oznaczonych jako pozytywne lub negatywne. Każda recenzja jest tekstem o zmiennej długości. Zanim przekażemy ją do LSTM, musimy wykonać trzy kroki wstępnego przetwarzania: tokenizację (podział tekstu na słowa), budowę słownika (przypisanie słowom indeksów całkowitych) oraz dopełnianie (ujednolicenie długości wszystkich sekwencji).

Musimy także obsłużyć bardzo długie recenzje — trenowanie LSTM zwalnia kwadratowo wraz z długością sekwencji, dlatego często obcina się je do 256 lub 512 tokenów bez znacznego pogorszenia dokładności.

Dopełnianie jest konieczne, ponieważ moduły DataLoader w PyTorch wymagają, aby tensory w obrębie jednej partii miały ten sam kształt. Krótsze sekwencje uzupełniamy specjalnym tokenem <pad> (zwykle o indeksie 0), a dłuższe obcinamy do maksymalnej długości.

Najważniejsze jest to, że LSTM powinien ignorować tokeny dopełniające. Narzędzia PyTorch pack_padded_sequence i pad_packed_sequence umożliwiają wydajne pomijanie dopełnienia podczas obliczeń LSTM, co ma znaczenie dla poprawności — w przeciwnym razie model będzie aktualizował stan ukryty na podstawie pozbawionego znaczenia dopełnienia, zniekształcając końcowy stan h_T.

Całkowitych indeksów słów nie można bezpośrednio przekazać do LSTM — trzeba przekształcić je w wektory ciągłe. Warstwa embeddingu nn.Embedding(vocab_size, embedding_dim) jest tabelą wyszukiwania, która mapuje każdy indeks słowa na gęsty wektor liczb zmiennoprzecinkowych.

Typowe wymiary embeddingów to 100, 200 lub 300. Embeddingi są parametrami, których wartości można uczyć, i są aktualizowane podczas trenowania razem z wagami LSTM. Alternatywnie można zainicjalizować je za pomocą wstępnie wytrenowanych wektorów słów, takich jak GloVe lub Word2Vec, co znacznie przyspiesza trenowanie na małych zbiorach danych dzięki wykorzystaniu wcześniej poznanych zależności semantycznych między słowami.

Kompletna architektura modelu składa się z trzech części: warstwy embeddingu, LSTM oraz głowicy w pełni połączonej. Embedding przekształca indeksy tokenów w wektory, LSTM przetwarza sekwencję, a warstwa liniowa mapuje końcowy stan ukryty na pojedynczy logit.

Dodajemy dropout za warstwą embeddingu i przed warstwą liniową, aby regularyzować model. Na wyjściu stosujemy sigmoid, aby uzyskać prawdopodobieństwo z zakresu od 0 do 1. Do trenowania używamy funkcji straty Binary Cross-Entropy, ponieważ jest to klasyfikacja binarna.

W przypadku klasyfikacji binarnej używamy nn.BCEWithLogitsLoss, która łączy aktywację sigmoid i binarną entropię krzyżową w jednej numerycznie stabilnej operacji. Jest to rozwiązanie preferowane zamiast ręcznego zastosowania sigmoid, a następnie nn.BCELoss.

Używamy optymalizatora Adam ze współczynnikiem uczenia 1e-3. Adam dostosowuje współczynniki uczenia dla poszczególnych parametrów, dzięki czemu dobrze sprawdza się w przypadku rzadkich gradientów powstających w embeddingach (tylko embeddingi słów występujących w partii otrzymują aktualizacje gradientu). Należy używać przycinania gradientów za pomocą torch.nn.utils.clip_grad_norm_, aby zapobiegać eksplozji gradientów, która jest częstym problemem podczas trenowania sieci RNN.

Pętla trenowania dla klasyfikacji typu sequence-to-one ma standardową strukturę PyTorch: przebieg w przód, obliczenie funkcji straty, propagacja wsteczna, przycięcie gradientów i aktualizacja parametrów. Obliczamy także dokładność, porównując przewidywaną klasę (wyjście sigmoid > 0.5) z etykietami referencyjnymi.

Ważne jest, aby zarówno model, jak i tensory partii przenieść na to samo urządzenie (CPU lub GPU). Użycie model.to(device) i tensor.to(device) zapewnia spójność obliczeń. Na GPU trenowanie dwuwarstwowego LSTM na zbiorze IMDB zazwyczaj zajmuje od 2 do 5 minut na epokę.

Podczas oceny wywołujemy model.eval() i opakowujemy przebiegi w przód w torch.no_grad(), aby wyłączyć dropout i śledzenie gradientów. Dzięki temu uzyskujemy bezstronny obraz skuteczności uogólniania.

W kolejnych epokach śledzimy cztery wartości: stratę treningową, stratę walidacyjną, dokładność treningową i dokładność walidacyjną. Jeśli dokładność treningowa rośnie, ale walidacyjna pozostaje bez zmian, model przeucza się — należy zwiększyć dropout lub zmniejszyć rozmiar modelu. Jeśli obie wartości są niskie, model niedoucza się — należy dodać warstwy LSTM lub zwiększyć rozmiar stanu ukrytego.

Dobrze dostrojony klasyfikator sentymentu oparty na LSTM zazwyczaj osiąga na zbiorze IMDB dokładność testową na poziomie 85–90%. Do typowych błędów obniżających skuteczność należą: brak ustawienia model.eval() podczas oceny (dropout pozostaje aktywny), brak zerowania gradientów przed propagacją wsteczną oraz trenowanie przez zbyt małą liczbę epok, zanim embeddingi się zbiegną.

Innym problemem jest używanie tego samego indeksu słownika dla nieznanych słów i dopełnienia. Należy rozdzielić tokeny <unk> (indeks 0) i <pad> (indeks 1) oraz przekazać padding_idx=1 do warstwy embeddingu, aby embeddingi dopełnienia zawsze miały wartość zero, a ich gradienty były pomijane podczas trenowania.

Aby klasyfikować nowe recenzje podczas wnioskowania, stosujemy ten sam potok wstępnego przetwarzania co podczas trenowania: tokenizujemy tekst, zamieniamy tokeny na indeksy, skracamy sekwencję i dodajemy wymiar partii. Model zwraca logit, a zastosowanie funkcji sigmoid przekształca go w prawdopodobieństwo.

Wynik predykcji powyżej 0,5 wskazuje na pozytywny sentyment. Mogą Państwo dostosować ten próg: obniżenie go do 0,3 zwiększa czułość dla pozytywnych recenzji kosztem precyzji. Podczas wnioskowania należy zawsze zastosować model.eval() i torch.no_grad(), aby wyłączyć dropout i uniknąć niepotrzebnego obliczania gradientów.

Chociaż sieci LSTM były najnowocześniejszym rozwiązaniem w dziedzinie NLP do około 2018 roku, modele oparte na transformerach, takie jak BERT, dominują obecnie w większości testów porównawczych NLP. BERT osiąga około 93–95% na zbiorze IMDB, w porównaniu z około 87–90% dla LSTM.

Sieci LSTM pozostają jednak istotne z kilku powodów: są znacznie wydajniejsze obliczeniowo dla bardzo długich sekwencji (transformatory skalują się kwadratowo wraz z długością sekwencji), dobrze sprawdzają się w przypadku danych szeregów czasowych, gdzie sekwencyjny charakter danych jest nieodłączny, oraz zajmują znacznie mniej pamięci. Zrozumienie sieci LSTM zapewnia również podstawy pojęciowe potrzebne do zrozumienia, jak mechanizmy uwagi stanowią ich udoskonalenie.

W tej lekcji nauczyli się Państwo, że: architektura sequence-to-one odczytuje całą sekwencję wejściową i mapuje ją na pojedynczą etykietę, wykorzystując końcowy stan ukryty LSTM; potok wstępnego przetwarzania tekstu wymaga tokenizacji, zbudowania słownika i dopełnienia sekwencji przed przekazaniem danych do modelu; a warstwy embeddingów przekształcają dyskretne indeksy słów w gęste, uczone wektory, które odwzorowują znaczenie semantyczne. Następnie omówimy transfer learning, w którym wstępnie wytrenowane wagi modelu zastępują trenowanie od podstaw.