Sigmoid и Tanh: сжатие в диапазон
Ограниченные выходы и ловушка затухающего градиента
«Sigmoid и Tanh: сжатие в диапазон» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Squashing Activations
Some activations squeeze any input into a fixed range. The two classics are sigmoid and tanh, and both bend big numbers gently inward. 🤏
Sigmoid's Range
Sigmoid maps every value into the open interval from 0 to 1. That makes its output read naturally as a probability.
import torch
y = torch.sigmoid(x) # outputs between 0 and 1Its S-Shaped Curve
Sigmoid has a smooth S shape: near zero it changes fast, but far out it flattens. Large inputs all map to nearly the same value.
Tanh's Range
Tanh is sigmoid's cousin, but it squashes inputs into the range from minus 1 to plus 1, centered neatly on zero.
y = torch.tanh(x) # outputs between -1 and 1Why Centering Helps
Because tanh is zero-centered, its outputs balance around zero. That often gives smoother, faster learning than sigmoid for hidden layers.
The Flat Tails
Out at the edges, both curves go almost flat. A flat region means a tiny slope, and a tiny slope means a tiny gradient.
Vanishing Gradients
When gradients shrink toward zero, early layers barely update. This vanishing gradient trap stalls deep networks during training. 😴
Why ReLU Took Over
This vanishing problem is exactly why ReLU replaced sigmoid and tanh in most hidden layers. ReLU keeps a healthy gradient for positives.
Where Sigmoid Still Wins
Sigmoid stays useful at the output of a binary classifier, where you genuinely want a single probability between 0 and 1.
Where Tanh Still Wins
Tanh still appears inside recurrent cells like LSTMs, where its bounded, zero-centered output helps keep the hidden state stable.
Choosing Wisely
Rule of thumb: avoid sigmoid and tanh in deep hidden stacks, but keep sigmoid for a single probability output. Match the tool to the job.
Quick Check
Recall what happens at the flat tails of these curves.
Recap
Sigmoid squashes to 0 to 1 and tanh to minus 1 to 1. Their flat tails cause vanishing gradients, so save them for outputs and special cells. 🎯
Часто задаваемые вопросы
Урок «Sigmoid и Tanh: сжатие в диапазон» бесплатный?
Да — полный текст урока «Sigmoid и Tanh: сжатие в диапазон» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «Sigmoid и Tanh: сжатие в диапазон»?
Ограниченные выходы и ловушка затухающего градиента Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Sigmoid и Tanh: сжатие в диапазон»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Почему нелинейность раскрывает настоящую мощь
- ReLU и её варианты Leaky и GELU
- Sigmoid и Tanh: сжатие в диапазон
- Softmax для получения вероятностей