Cara RNN Membaca Urutan

Jaringan saraf berulang membaca teks seperti Anda, mengambil satu token lalu token berikutnya, bukan seluruh kalimat sekaligus.

Pada setiap langkah, RNN menyimpan memori kecil yang disebut keadaan tersembunyi, yaitu vektor yang merangkum semua hal yang telah dibaca sejauh ini.

Sel yang sama berjalan berulang kali, sekali untuk setiap kata. Struktur yang berulang ini tepat menjadi alasan kita menyebutnya berulang.

Setiap kata baru memperbarui keadaan tersembunyi, sehingga konteks dari bagian awal kalimat mengalir secara tersirat ke langkah-langkah berikutnya.

Secara konseptual, keadaan baru mencampurkan keadaan sebelumnya dengan input saat ini melalui bobot yang dipelajari dan sebuah fungsi aktivasi.

RNN menggunakan kembali bobot yang sama pada setiap posisi. Pembagian ini memungkinkan RNN menangani kalimat dengan panjang apa pun menggunakan satu sel yang ringkas.

Setiap kata terlebih dahulu menjadi embedding numerik. RNN tidak pernah melihat huruf, melainkan hanya vektor padat ini yang masuk satu per satu.

Saat membaca I love this, keadaan berubah setelah I, berubah lagi setelah love, dan keadaan terakhir mencerminkan seluruh frasa pendek tersebut.

Untuk klasifikasi, keadaan tersembunyi setelah kata terakhir sering digunakan sebagai ringkasan seluruh urutan.

Anda juga dapat membaca output pada setiap langkah, yang berguna untuk memberi tag pada setiap kata, seperti label kelas kata.

Karena keadaan membawa informasi dari masa lalu, RNN akhirnya dapat mengenali bahwa not membalik makna kata yang mengikutinya. 🔁

RNN mengulang token, memperbarui keadaan tersembunyi yang mengingat masa lalu, sehingga urutan dan konteks akhirnya memengaruhi outputnya. 🎯