GRU: Alternatif yang Lebih Ringkas

GRU adalah kerabat LSTM yang lebih ringkas. Tujuannya sama, yaitu memori panjang, tetapi dengan lebih sedikit gerbang dan parameter. ⚡

Berbeda dari LSTM, GRU tidak memiliki keadaan sel terpisah. GRU menyimpan semuanya dalam satu keadaan tersembunyi yang diperbarui pada setiap langkah.

GRU hanya menggunakan dua gerbang: gerbang pembaruan dan gerbang reset. Jumlah ini satu lebih sedikit daripada LSTM, sehingga komputasi dan memori yang diperlukan berkurang.

Gerbang pembaruan menentukan seberapa banyak keadaan tersembunyi lama yang dibawa ke depan dibandingkan dengan seberapa banyak informasi baru yang dimasukkan.

Gerbang reset mengendalikan seberapa banyak memori masa lalu yang dimasukkan ke kandidat baru, sehingga sel dapat mengabaikan konteks usang bila diperlukan.

Dengan menggunakan gerbang reset, GRU membentuk keadaan tersembunyi kandidat, yaitu usulan baru tentang isi memori pada langkah ini.

Keadaan tersembunyi yang baru merupakan perpaduan yang halus: gerbang pembaruan mencampurkan keadaan sebelumnya dengan kandidat dalam satu persamaan yang rapi.

Dengan satu gerbang lebih sedikit dan tanpa keadaan sel, GRU memiliki lebih sedikit parameter. GRU sering berlatih lebih cepat dan memerlukan lebih sedikit data agar dapat menyesuaikan diri dengan baik.

Pada banyak tugas, akurasi GRU setara dengan LSTM. Sel yang lebih kecil jarang merugikan, sehingga GRU merupakan pilihan awal yang kuat untuk model urutan.

Cobalah GRU terlebih dahulu untuk kecepatan dan himpunan data kecil. Pilih LSTM ketika dependensi yang sangat panjang memerlukan pengendalian memori tambahan.

Dalam Keras, penggantiannya mudah: ganti lapisan LSTM dengan lapisan GRU dan biarkan bagian lain model tetap sama.

GRU menyederhanakan LSTM menjadi dua gerbang dan satu keadaan. GRU lebih cepat dan ringkas, tetapi memberikan akurasi yang serupa pada sebagian besar tugas. ✅