Sigmoid og tanh: Pres værdier ind i et interval

Nogle aktiveringer sammenpresser ethvert input til et fast interval. De to klassikere er sigmoid og tanh, og begge bøjer store tal blidt ind mod midten. 🤏

Sigmoid afbilder enhver værdi til det åbne interval fra 0 til 1. Derfor kan outputtet naturligt fortolkes som en sandsynlighed.

Sigmoid har en glat S-form: nær nul ændrer den sig hurtigt, men langt fra nul flader den ud. Store input afbildes alle til næsten den samme værdi.

Tanh er sigmoids fætter, men den sammenpresser input til intervallet fra minus 1 til plus 1, pænt centreret omkring nul.

Fordi tanh er nulcentreret, balancerer dens output omkring nul. Det giver ofte jævnere og hurtigere læring end sigmoid i skjulte lag.

Yderst i intervallerne bliver begge kurver næsten flade. Et fladt område betyder en lille hældning, og en lille hældning betyder en lille gradient.

Når gradienterne nærmer sig nul, bliver de tidlige lag næsten ikke opdateret. Denne fælde med forsvindende gradienter får dybe netværk til at gå i stå under træningen. 😴

Dette problem med forsvindende gradienter er netop grunden til, at ReLU erstattede sigmoid og tanh i de fleste skjulte lag. ReLU bevarer en sund gradient for positive værdier.

Sigmoid er stadig nyttig ved outputtet fra en binær klassifikator, hvor du faktisk ønsker en enkelt sandsynlighed mellem 0 og 1.

tanh optræder stadig i rekurrente celler som LSTM'er, hvor dens begrænsede, nulcentrerede output hjælper med at holde den skjulte tilstand stabil.

Tommelfingerregel: Undgå sigmoid og tanh i dybe skjulte lag, men behold sigmoid til et enkelt sandsynlighedsoutput. Tilpas værktøjet til opgaven.

Sigmoid begrænser værdierne til 0 til 1, mens tanh begrænser dem til minus 1 til 1. Deres flade ender medfører forsvindende gradienter, så gem dem til output og særlige celler. 🎯