Mengapa Konteks Mengubah Makna Kata

Kata bank dapat berarti tepi sungai atau tempat menyimpan uang. Maknanya sepenuhnya bergantung pada konteks di sekitarnya.

word2vec dan GloVe memberikan satu vektor tetap untuk setiap kata. Jadi, bank memperoleh satu makna statis, apa pun kalimat tempat kata itu muncul.

Kedua kalimat ini menggunakan bank dengan cara yang berlawanan, tetapi model statis memberikan vektor yang sama persis untuk kata tersebut.

Anda langsung mengetahui bank yang dimaksud karena membaca kata-kata di sekitarnya. Makna berada dalam konteks, bukan pada kata itu saja.

Model kontekstual memberikan vektor yang berbeda untuk bank di setiap kalimat. Penyematan tersebut kini berubah menyesuaikan konteksnya setiap kali. ✨

BERT adalah transformer yang membaca seluruh kalimat sekaligus dan menghasilkan vektor yang sadar konteks. Model ini dibangun berdasarkan atensi atas semua kata.

BERT melihat kata-kata di kiri dan kanan setiap token secara bersamaan. Pandangan dua arah itulah yang dimaksud dengan dua arah.

Masukkan kalimat tentang sungai dan uang ke BERT, lalu bank akan menghasilkan dua vektor yang berbeda. Penyematan tersebut mengikuti kalimatnya.

Kata-kata dengan banyak makna, yang disebut polisemi, dahulu membingungkan model statis. Penyematan kontekstual akhirnya memisahkan makna-makna tersebut dengan jelas.

Pencarian, penerjemahan, dan penjawaban pertanyaan semuanya meningkat ketika model benar-benar memahami makna yang sedang dibawa sebuah kata.

Peralihan dari satu vektor per kata menjadi satu vektor per penggunaan merupakan titik balik. Inilah inti pemrosesan bahasa alami modern.

Vektor statis mengurung setiap kata dalam satu makna. Penyematan kontekstual dari BERT berubah di setiap kalimat dan menangkap makna yang tepat. ✅