Вентили, управляющие памятью
Как LSTM решают, что сохранить
«Вентили, управляющие памятью» — бесплатный урок NLP Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Plain RNNs Forget
A simple RNN struggles to remember things from far back. The LSTM was built to fix that by carefully managing what it keeps and forgets. 🧠
The Cell State
An LSTM carries a special cell state, a memory line that runs straight through every step so important signals survive long sequences.
Gates Are the Trick
The magic is in the gates: tiny learned switches that decide what to add, keep, or drop from memory at each time step.
How a Gate Works
Each gate uses a sigmoid to output values from 0 to 1, acting like a dimmer that lets some information through and blocks the rest.
gate = sigmoid(W @ x + U @ h + b) # values in [0, 1]The Forget Gate
The forget gate looks at the new input and decides how much of the old memory to erase. A 0 wipes it; a 1 keeps it fully.
The Input Gate
The input gate controls how much fresh information gets written into the cell state, so only useful new signals are stored.
The Candidate Values
A candidate vector proposes what new content could enter memory. The input gate then scales how much of it actually gets added.
candidate = tanh(W @ x + U @ h + b)Updating Memory
The new cell state blends old memory kept by the forget gate with fresh candidate values let in by the input gate.
c = forget * c_prev + input * candidateThe Output Gate
The output gate decides what part of the cell state becomes the visible hidden state passed to the next step and the layer above.
Why Gates Beat Forgetting
Because gates keep the cell state mostly additive, gradients flow back many steps without vanishing. That is how an LSTM remembers long context.
Three Gates, One Cell
So an LSTM has three gates guarding one memory line: forget, input, and output, each learned from data during training.
Quick Check
Test your grip on LSTM gates.
Recap
An LSTM protects a cell state with forget, input, and output gates. Those switches keep long-range memory alive where plain RNNs fail. ✅
Часто задаваемые вопросы
Урок «Вентили, управляющие памятью» бесплатный?
Да — полный текст урока «Вентили, управляющие памятью» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Вентили, управляющие памятью»?
Как LSTM решают, что сохранить Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Вентили, управляющие памятью»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Вентили, управляющие памятью
- GRU: более компактная альтернатива
- Обучение классификатора LSTM
- Двунаправленные и многослойные сети