Lapisan Dua Arah dan Bertumpuk

LSTM biasa membaca dari kiri ke kanan, sehingga hanya mengetahui masa lalu. Namun, makna sering kali juga bergantung pada kata-kata yang muncul setelahnya. 🔄

LSTM dua arah menjalankan dua lintasan: satu maju dan satu mundur, sehingga setiap kata melihat konteks dari kedua sisinya.

Keluaran maju dan mundur digabungkan, biasanya digabungkan secara konkatenasi, menjadi satu representasi yang lebih kaya untuk setiap langkah waktu.

Konteks masa depan membantu mengatasi ambiguitas. Mengetahui kata setelah sebuah nama membantu menentukan apakah Apple berarti buah atau perusahaan.

Anda dapat membungkus lapisan berulang apa pun untuk membuatnya berjalan dua arah. Pembungkus dua arah menangani kedua lintasan secara otomatis.

Anda juga dapat menumpuk lapisan: masukkan keluaran satu LSTM ke LSTM lain agar jaringan mempelajari pola urutan tingkat lebih tinggi.

Untuk menumpuk lapisan, LSTM bawah harus menghasilkan setiap langkah, bukan hanya langkah terakhir. Atur return_sequences ke true agar lapisan berikutnya memiliki input.

LSTM pertama mengembalikan urutan; LSTM kedua membacanya dan mengembalikan satu vektor ringkasan untuk klasifikasi.

Model yang lebih dalam dan dua arah menangkap lebih banyak informasi, tetapi memiliki lebih banyak parameter dan dapat mengalami overfitting. Gunakan dropout dan data yang memadai.

Anda dapat menumpuk lapisan dua arah untuk membuat model yang kuat: konteks yang luas sekaligus kedalaman, seperti yang umum digunakan dalam sistem NLP yang serius.

Tidak setiap tugas memerlukan kedalaman. Mulailah dari yang kecil, lalu tambahkan lapisan atau arah hanya jika skor validasi benar-benar meningkat.

Gunakan pendekatan dua arah untuk membaca dari kedua arah dan tumpuk lapisan untuk memperoleh kedalaman. Keduanya menambah kemampuan, jadi cegah overfitting dengan dropout. ✅