Tworzenie sieci jednokierunkowej za pomocą nn.Module

nn.Module to bazowa klasa PyTorch dla wszystkich komponentów sieci neuronowych. Każda warstwa, funkcja aktywacji, funkcja straty i kompletny model w PyTorch dziedziczą po nn.Module. Klasa ta zapewnia między innymi zarządzanie parametrami, przenoszenie na urządzenie, serializację oraz przełączanie między trybem trenowania i ewaluacji. Dziedzicząc po niej, otrzymuje Pan / otrzymuje Pani całą tę funkcjonalność bez dodatkowej pracy i musi jedynie zdefiniować architekturę oraz przebieg w przód.

Utworzenie własnej sieci wymaga zdefiniowania dwóch metod. W __init__ należy wywołać super().__init__() i zdefiniować wszystkie uczone warstwy jako atrybuty. W forward opisuje się przepływ danych przez te warstwy. PyTorch śledzi każdy obiekt nn.Module lub nn.Parameter przypisany do self jako komponent podlegający trenowaniu. Wywołanie modelu jak funkcji (model(x)) automatycznie uruchamia forward i wykonuje wszystkie zarejestrowane hooki.

nn.Linear(in_features, out_features) stosuje transformację y = x @ W.T + b, gdzie W jest macierzą wag, a b wektorem biasu. Warstwa automatycznie inicjalizuje wagi za pomocą rozkładu jednostajnego Kaiminga, a biasy za pomocą rozkładu jednostajnego. Jest podstawowym elementem sieci jednokierunkowych; warstwy te nazywa się także warstwami w pełni połączonymi lub gęstymi.

Funkcje aktywacji wprowadzają nieliniowość, dzięki czemu sieć może uczyć się złożonych wzorców, których nie potrafi reprezentować stos warstw liniowych. ReLU (max(0, x)) jest domyślną funkcją dla warstw ukrytych — działa szybko i ogranicza problem zanikających gradientów. Sigmoid sprowadza wynik do przedziału [0, 1] i jest używana dla wyników klasyfikacji binarnej. Tanh sprowadza wynik do przedziału [-1, 1] i jest często używana w sieciach RNN. Wszystkie te funkcje są dostępne jako moduły w nn.

nn.Sequential to wygodny kontener, który przekazuje wynik każdego modułu jako dane wejściowe do następnego. Idealnie nadaje się do prostych architektur jednokierunkowych, w których dane przepływają liniowo. W przypadku bardziej złożonych sieci z połączeniami pomijającymi, wieloma wejściami lub rozgałęzionymi ścieżkami należy zastosować pełne podejście oparte na podklasie nn.Module. Sieci Sequential można nadal rozszerzać przez dziedziczenie i używanie Sequential jako podbloku.

Jedną z kluczowych technik debugowania podczas budowania sieci jest przepuszczenie przykładowego tensora przez model przed rozpoczęciem trenowania. Pozwala to sprawdzić zgodność wymiarów wszystkich warstw i natychmiast wykryć niezgodności kształtów. Przykładowy tensor ma taki sam kształt jak rzeczywiste dane, ale zawiera losowe wartości — służy jedynie do przejścia ścieżką w przód. Należy zawsze wykonać ten test po zdefiniowaniu nowej architektury.

Znajomość całkowitej liczby uczonych parametrów modelu pozwala ocenić jego możliwości oraz wymagania dotyczące pamięci. model.parameters() zwraca iterator po wszystkich uczonych tensorach, a model.named_parameters() łączy każdy tensor z jego nazwą w celu ułatwienia analizy. Zwięzłe narzędzie do zliczania parametrów jest jednym z pierwszych narzędzi, które tworzy większość osób pracujących z PyTorch.

Przeniesienie modelu na GPU jest tak proste jak wywołanie model.to(device). Operacja ta przenosi wszystkie parametry i bufory zarejestrowane w module na wskazane urządzenie. Po jej wykonaniu wszystkie obliczenia przebiegu w przód są automatycznie wykonywane na GPU — pod warunkiem że tensory wejściowe również znajdują się na tym samym urządzeniu. Łączenie tensorów z CPU i GPU powoduje błąd wykonania.

Niektóre warstwy (Dropout, BatchNorm) zachowują się inaczej podczas trenowania i wnioskowania. Wywołanie model.train() włącza zachowanie stochastyczne (losowy dropout, statystyki partii), a model.eval() przełącza model na deterministyczne zachowanie podczas wnioskowania. Pominięcie wywołania model.eval() przed ewaluacją prowadzi do niespójnych wyników, ponieważ Dropout losowo wyzerowuje aktywacje. Podczas wnioskowania należy zawsze łączyć te wywołania z torch.no_grad(), aby uzyskać maksymalną wydajność.

Łącząc wszystkie elementy: perceptron wielowarstwowy (MLP) to sieć jednokierunkowa z co najmniej jedną warstwą ukrytą między wejściem a wyjściem. Każda warstwa ukryta stosuje transformację liniową, a następnie nieliniową funkcję aktywacji. Funkcja aktywacji warstwy wyjściowej zależy od zadania — w regresji nie stosuje się funkcji aktywacji, w klasyfikacji wieloklasowej używa się softmax, a w klasyfikacji binarnej sigmoid. Poniższy przykład tworzy trójwarstwowy MLP do klasyfikacji na 10 klas.

Trenowanie sieci neuronowej jest kosztowne, dlatego po jego zakończeniu model należy zapisać. Konwencja PyTorch zakłada zapisywanie wyłącznie obiektu state_dict — słownika tensorów parametrów — zamiast całego obiektu modelu. Pozwala to uniknąć zależności pickle od definicji klasy. Aby odtworzyć model, należy utworzyć nową instancję z taką samą architekturą, a następnie wczytać słownik stanu za pomocą load_state_dict. Po wczytaniu modelu do wnioskowania należy zawsze ustawić model.eval().

W tej lekcji dowiedział się Pan / dowiedziała się Pani, że: nn.Module jest klasą bazową wszystkich sieci neuronowych PyTorch; metoda __init__ służy do definiowania warstw, a forward do określania przepływu danych; nn.Sequential zapewnia prosty kontener dla liniowych stosów warstw; natomiast model.train() / model.eval() przełączają zachowanie warstw takich jak Dropout i BatchNorm. Następnie napiszemy kompletną pętlę trenowania obejmującą funkcję straty, optymalizator i wiele epok.