Iloczyny skalarne napędzają każdą warstwę

Gdy sprowadzi się sieć neuronową do podstaw, znajduje się w niej jeden powtarzający się ruch: iloczyn skalarny, czyli suma par iloczynów dwóch wektorów.

Iloczyn skalarny mnoży każde wejście przez odpowiadającą mu wagę, a następnie dodaje wyniki do jednej liczby. Ta liczba jest głosem neuronu.

Proszę wyobrazić sobie wektor wejść i wektor wag ułożone obok siebie. Iloczyn skalarny określa, jak silnie te wejścia odpowiadają temu, co jest istotne dla neuronu.

Po obliczeniu iloczynu skalarnego neuron dodaje bias, aby móc przesunąć wynik w górę lub w dół, nawet gdy każde wejście ma wartość zero.

Wejścia razy wagi, zsumowane, plus bias — ta suma ważona stanowi całą liniową część pojedynczego neuronu, zapisaną w jednym przejrzystym wierszu.

Ułóż wektory wag w macierz, a jedno matmul obliczy jednocześnie wszystkie neurony w warstwie. Warstwa to partia iloczynów skalarnych.

PyTorch udostępnia ten schemat jako nn.Linear. Przechowuje macierz wag i bias, a przy każdym wywołaniu wykonuje za Pana lub Panią operację matmul-plus-bias.

Duży dodatni iloczyn skalarny oznacza, że wejście jest dobrze dopasowane do wag neuronu. Ujemny iloczyn oznacza, że wskazują one przeciwne kierunki.

Rzeczywista warstwa wykonuje tysiące iloczynów skalarnych dla jednego przykładu. Tylko zwektoryzowane matmul czyni to praktycznym, dlatego pętle zostały za nami.

Sama suma ważona jest liniowa. Przepuść ją przez funkcję aktywacji, taką jak ReLU, a neuron zyska nieliniowość potrzebną do rzeczywistego uczenia.

Droga prowadziła od wolnych pętli przez szybkie wektory do matmul, a wszystko zbiega się tutaj: iloczyn skalarny jest sercem każdej warstwy neuronowej.

Każda warstwa jest zbudowana z iloczynów skalarnych: wejścia razy wagi, zsumowane, połączone w partie przez matmul i zakończone funkcją aktywacji. To właśnie matematyka deep learning. 🚀