Masalah Gradien yang Menghilang

RNN biasa tampak hebat, tetapi kesulitan mengingat konteks jangkauan panjang. Penyebabnya adalah masalah gradien yang menghilang.

Jaringan belajar dengan mengirimkan sinyal kesalahan, yang disebut gradien, mundur melalui waktu untuk mendorong setiap bobot ke arah yang benar.

Pada RNN, lintasan mundur ini terbentang di setiap langkah, sehingga kalimat panjang berarti rantai perkalian yang sangat panjang.

Ketika banyak nilai di bawah satu dikalikan bersama, hasilnya melaju menuju nol. Gradien memudar jauh sebelum mencapai kata-kata awal.

Karena sinyalnya menghilang, jaringan hampir tidak memperbarui bobot yang terkait dengan token pertama, sehingga konteks yang jauh pada dasarnya hilang.

Bayangkan 0,5 dikalikan dengan dirinya sendiri sebanyak dua puluh kali. Nilainya hampir menghilang, dan itulah yang terjadi pada gradien dari langkah-langkah yang dalam.

Gradien juga dapat meledak ketika nilainya melebihi satu, membesar secara ekstrem dan membuat pelatihan tidak stabil karena perubahan bobot yang liar.

Gradien yang meledak memiliki perbaikan sederhana: pemangkasan gradien membatasi ukurannya agar satu langkah tidak dapat membuat model Anda menjadi tidak terkendali.

Gradien yang menghilang sulit diperbaiki dengan cara sederhana, sehingga RNN biasa terus melupakan informasi. Kita memerlukan sel yang lebih cerdas untuk menyimpan memori selama banyak langkah.

Arsitektur khusus dengan gerbang, seperti LSTM dan GRU, mengendalikan apa yang harus disimpan dan dilupakan, sehingga sinyal jangkauan panjang tetap terjaga.

Memahami keterbatasan ini menjelaskan mengapa model urutan modern diciptakan: model-model tersebut dirancang untuk menjaga gradien tetap hidup dalam jarak yang panjang. 💡

Dalam urutan panjang, gradien RNN biasa menghilang sehingga menghapus konteks yang jauh. Sel berg-gerbang seperti LSTM dan GRU adalah solusi yang akan kita pelajari berikutnya. 🎯