Mengapa Urutan Penting dalam Bahasa

Dalam bahasa, urutan kata bukan sekadar hiasan. Pindahkan kata-katanya dan keseluruhan pesan dapat berubah menjadi sesuatu yang baru.

Dog bites man dan man bites dog menggunakan kata-kata yang persis sama, tetapi hanya urutan yang memberi tahu Anda siapa yang menggigit.

Model bag-of-words hanya menghitung token, sehingga urutan dibuang. Bagi model tersebut, kedua kalimat tentang gigitan itu tampak sepenuhnya identik.

Setelah teks direduksi menjadi hitungan kata, Anda tidak dapat memulihkan urutan aslinya. Ceritanya runtuh menjadi tabel frekuensi.

Perhatikan bahwa not good berarti kebalikan dari good. Kata not hanya berfungsi karena letaknya dalam kalimat.

Beberapa petunjuk terletak berjauhan. Kalimat The film I watched last night was great menghubungkan great kembali ke film melalui banyak token.

Anda membaca dari kiri ke kanan sambil membangun makna langkah demi langkah. Teks adalah sebuah urutan, dan kata-kata sebelumnya membentuk cara kata-kata berikutnya dipahami.

Dalam Python, Anda dapat mempertahankan urutan tersebut cukup dengan memisahkannya menjadi daftar, sehingga indeks mencerminkan posisi setiap kata.

Dua kalimat dapat memiliki hitungan yang sama tetapi makna yang berlawanan. Model yang mengabaikan posisi tidak akan pernah dapat membedakan keduanya.

Untuk menangkap urutan, kita memerlukan model yang membaca teks sebagai urutan yang mengalir, sambil mengingat apa yang muncul sebelum setiap kata baru.

Inilah celah yang diisi oleh jaringan saraf berulang. Model tersebut memproses token satu per satu, sesuai urutan, bukan semuanya sekaligus. 🧠

Urutan kata mengubah makna, tetapi model berbasis hitungan mengabaikannya. Keterbatasan itulah yang membuat kita beralih ke model yang memahami urutan berikutnya. 🎯