기울기 소실 문제
일반 RNN이 기억을 잃는 이유를 알아봅니다
기울기 소실 문제은(는) CoddyKit의 무료 NLP Academy 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 NLP Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.
A Frustrating Limit
Plain RNNs look powerful, but they struggle to remember long-range context. The cause is the vanishing gradient problem.
Learning Means Gradients
Networks learn by sending error signals, called gradients, backward through time to nudge each weight in the right direction.
Backprop Through Time
For an RNN this backward pass unrolls across every step, so a long sentence means a very long chain of multiplications.
Small Numbers Shrink Fast
When you multiply many values below one together, the result rushes toward zero. The gradient fades long before it reaches early words.
Early Words Get Ignored
Because the signal vanishes, the network barely updates weights tied to the first tokens, so distant context is effectively lost.
A Quick Intuition
Imagine multiplying 0.5 by itself twenty times. The value almost disappears, and that is what happens to deep-step gradients.
g = 0.5
for _ in range(20): g *= 0.5
print(g) # tinyThe Opposite Danger
Gradients can also explode when values exceed one, growing huge and destabilizing training with wild weight swings.
Taming Explosions
Exploding gradients have an easy patch: gradient clipping caps their size so a single step cannot blow up your model.
Vanishing Is Harder
Vanishing gradients resist simple fixes, so plain RNNs keep forgetting. We need a smarter cell to hold memory across many steps.
The Real Fix Ahead
Special architectures with gates, like LSTM and GRU, control what to keep and forget, preserving long-range signals.
Why It Matters
Understanding this limit explains why modern sequence models exist at all: they were designed to keep gradients alive over distance. 💡
Quick Check
Why do plain RNNs forget early words in long sequences?
Recap
In long sequences plain RNN gradients vanish, erasing distant context. Gated cells like LSTM and GRU are the fix we explore next. 🎯
자주 묻는 질문
“기울기 소실 문제” 강의는 무료인가요?
네 — “기울기 소실 문제” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 NLP Academy 강의 전체를 잠금 해제할 수 있습니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“기울기 소실 문제”에서 뭘 배우나요?
일반 RNN이 기억을 잃는 이유를 알아봅니다 브라우저에서 직접 실행하는 실습 코드로 NLP Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
NLP Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 NLP Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.
“기울기 소실 문제” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 NLP Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 NLP Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.