Gerbang LSTM dan GRU
Mengingat dependensi jangka panjang
Gerbang LSTM dan GRU adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
The Long-Memory Problem
Vanilla RNNs forget early clues over long sequences. Gated cells fix this by deciding what to keep, update, or throw away.
Meet the LSTM
The LSTM adds a separate cell state, a memory highway that runs straight across time with only small, controlled edits.
Gates Are Soft Switches
A gate is a sigmoid layer outputting values from 0 to 1. Zero blocks information, one lets it pass, and in between mixes the two.
gate = torch.sigmoid(W @ x + U @ h)The Forget Gate
The forget gate looks at the input and memory and chooses which parts of the old cell state to erase before adding anything new.
The Input Gate
The input gate decides how much of the fresh candidate information should be written into the cell state at this step.
The Output Gate
The output gate controls how much of the updated cell state becomes the visible hidden state passed to the next step. 🚪
Why Gates Help Gradients
Because the cell state changes gently, gradients flow back across many steps without vanishing, so the model learns long-range patterns.
Meet the GRU
The GRU is a lighter cousin: it merges gates and drops the separate cell state, giving similar power with fewer parameters.
GRU's Two Gates
A GRU uses just two gates, a reset gate and an update gate, to balance old memory against new input each step.
Drop-In in PyTorch
Both are one-liners in PyTorch. Swap nn.LSTM or nn.GRU for nn.RNN and keep almost the same training code.
lstm = nn.LSTM(input_size=10, hidden_size=20)Which to Choose?
GRUs are faster and often match LSTMs; LSTMs can edge ahead on the hardest long sequences. Try both and let your validation score decide.
Quick Check
What is the job of the forget gate in an LSTM?
Recap
LSTMs and GRUs use gates to control memory, letting gradients survive long sequences and capturing far-apart dependencies. ✅
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Gerbang LSTM dan GRU” gratis?
Ya — teks lengkap “Gerbang LSTM dan GRU” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Gerbang LSTM dan GRU”?
Mengingat dependensi jangka panjang Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?
Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Gerbang LSTM dan GRU” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Urutan Memerlukan Memori
- Sel RNN Biasa
- Gerbang LSTM dan GRU
- Kemas Urutan dan Tangani Padding