Sigmoid i Tanh: sprowadzanie do zakresu

Niektóre funkcje aktywacji ściskają dowolne dane wejściowe do ustalonego zakresu. Dwa klasyczne przykłady to sigmoid i tanh; obie łagodnie przyciągają duże liczby do środka. 🤏

Sigmoid odwzorowuje każdą wartość na otwarty przedział od 0 do 1. Dzięki temu jej wynik można naturalnie odczytywać jako prawdopodobieństwo.

Sigmoid ma gładki kształt litery S: w pobliżu zera zmienia się szybko, ale daleko od niego się spłaszcza. Duże dane wejściowe są odwzorowywane na niemal tę samą wartość.

Tanh jest kuzynką sigmoid, ale ściska dane wejściowe do zakresu od minus 1 do plus 1, z punktem środkowym dokładnie w zerze.

Ponieważ tanh jest wyśrodkowana względem zera, jej wyniki równoważą się wokół zera. W warstwach ukrytych często zapewnia to płynniejsze i szybsze uczenie niż sigmoid.

Na krańcach obie krzywe niemal się spłaszczają. Płaski obszar oznacza małe nachylenie, a małe nachylenie oznacza mały gradient.

Gdy gradienty zbliżają się do zera, wczesne warstwy prawie się nie aktualizują. Ta pułapka zanikającego gradientu zatrzymuje uczenie głębokich sieci. 😴

Problem zanikających gradientów jest właśnie powodem, dla którego ReLU zastąpiła sigmoid i tanh w większości warstw ukrytych. ReLU zachowuje zdrowy gradient dla wartości dodatnich.

Sigmoid pozostaje przydatna na wyjściu klasyfikatora binarnego, gdy rzeczywiście potrzebne jest pojedyncze prawdopodobieństwo między 0 a 1.

Tanh nadal występuje wewnątrz komórek rekurencyjnych, takich jak LSTM, gdzie jej ograniczone do przedziału i wyśrodkowane wokół zera wyjście pomaga utrzymać stabilny stan ukryty.

Zasada praktyczna: należy unikać sigmoid i tanh w głębokich stosach warstw ukrytych, ale zachować sigmoid dla pojedynczego wyjścia reprezentującego prawdopodobieństwo. Narzędzie należy dopasować do zadania.

Sigmoid sprowadza wartości do przedziału od 0 do 1, a tanh do przedziału od -1 do 1. Ich płaskie odcinki powodują zanikające gradienty, dlatego należy używać ich w wyjściach i specjalnych komórkach. 🎯