Gerbang yang Mengendalikan Memori

RNN sederhana kesulitan mengingat hal-hal dari masa lalu yang jauh. LSTM dibuat untuk memperbaiki hal itu dengan mengatur secara cermat apa yang disimpan dan dilupakan. 🧠

LSTM membawa keadaan sel khusus, yaitu jalur memori yang berjalan lurus melalui setiap langkah agar sinyal penting bertahan dalam urutan panjang.

Keajaibannya terletak pada gerbang: sakelar kecil yang dipelajari untuk menentukan apa yang ditambahkan, disimpan, atau dibuang dari memori pada setiap langkah waktu.

Setiap gerbang menggunakan sigmoid untuk menghasilkan nilai dari 0 hingga 1, seperti peredup cahaya yang membiarkan sebagian informasi lewat dan menghalangi sisanya.

Gerbang pelupaan melihat input baru dan menentukan seberapa banyak memori lama yang harus dihapus. Nilai 0 menghapusnya; nilai 1 mempertahankannya sepenuhnya.

Gerbang input mengendalikan seberapa banyak informasi baru yang ditulis ke dalam keadaan sel, sehingga hanya sinyal baru yang berguna yang disimpan.

Vektor kandidat mengusulkan konten baru yang dapat masuk ke memori. Gerbang input kemudian mengatur seberapa banyak konten itu yang benar-benar ditambahkan.

Keadaan sel yang baru memadukan memori lama yang dipertahankan oleh gerbang pelupaan dengan nilai kandidat baru yang diizinkan masuk oleh gerbang input.

Gerbang keluaran menentukan bagian keadaan sel yang menjadi keadaan tersembunyi yang terlihat, lalu diteruskan ke langkah berikutnya dan lapisan di atasnya.

Karena gerbang menjaga keadaan sel tetap sebagian besar bersifat aditif, gradien dapat mengalir mundur melewati banyak langkah tanpa menghilang. Begitulah cara LSTM mengingat konteks yang panjang.

Jadi, LSTM memiliki tiga gerbang yang menjaga satu jalur memori: pelupaan, input, dan keluaran. Masing-masing dipelajari dari data selama pelatihan.

LSTM melindungi keadaan sel dengan gerbang pelupaan, input, dan keluaran. Sakelar-sakelar tersebut menjaga memori jangkauan panjang tetap hidup, saat RNN biasa gagal. ✅