Sigmoid ve Tanh: Bir Aralığa Sıkıştırma

Bazı etkinleştirmeler her girdiyi sabit bir aralığa sıkıştırır. Klasik iki örnek sigmoid ve tanh'tır; ikisi de büyük sayıları nazikçe içeri doğru büker. 🤏

Sigmoid, her değeri 0 ile 1 arasındaki açık aralığa eşler. Bu nedenle çıktısı doğal biçimde olasılık olarak okunabilir.

Sigmoid'in yumuşak bir S biçimi vardır: sıfıra yakınken hızlı değişir, ancak uçlarda düzleşir. Büyük girdilerin tümü neredeyse aynı değere eşlenir.

Tanh, sigmoid'in akrabasıdır; ancak girdileri eksi 1 ile artı 1 arasındaki aralığa sıkıştırır ve bu aralık düzgün biçimde sıfır merkezlidir.

Tanh sıfır merkezli olduğu için çıktıları sıfır çevresinde dengelenir. Bu, gizli katmanlarda sigmoid'e göre çoğu zaman daha yumuşak ve hızlı öğrenme sağlar.

Uçlara gidildikçe her iki eğri de neredeyse dümdüz olur. Düz bir bölge küçük bir eğim, küçük bir eğim de küçük bir gradyan demektir.

Gradyanlar sıfıra doğru küçüldüğünde erken katmanlar neredeyse hiç güncellenmez. Bu kaybolan gradyan tuzağı, eğitim sırasında derin ağları durdurur. 😴

Bu kaybolma sorunu, ReLU'nun çoğu gizli katmanda sigmoid ve tanh'ın yerini almasının tam nedenidir. ReLU pozitifler için sağlıklı bir gradyanı korur.

Sigmoid, ikili bir sınıflandırıcının çıktısında hâlâ kullanışlıdır; çünkü burada gerçekten 0 ile 1 arasında tek bir olasılık istersiniz.

tanh işlevi, sınırlı ve sıfır merkezli çıktısının gizli durumu kararlı tutmaya yardımcı olduğu LSTM gibi tekrarlayan hücrelerde hâlâ kullanılır.

Pratik kural: derin gizli katman yığınlarında sigmoid işlevinden ve tanh işlevinden kaçının; ancak tek bir olasılık çıktısı için sigmoid işlevini kullanın. Aracı amacına uygun seçin.

Sigmoid işlevi değerleri 0 ile 1 arasına, tanh işlevi ise -1 ile 1 arasına sıkıştırır. Yatay uçları gradyanların yok olmasına neden olur; bu nedenle onları çıktılar ve özel hücreler için saklayın. 🎯