Bagaimana word2vec Mempelajari Makna

Bagaimana program dapat mempelajari makna kata tanpa kamus? Metode word2vec yang terkenal menjawabnya dengan satu trik cerdas.

Gagasan utamanya adalah hipotesis distribusional: sebuah kata ditentukan oleh kata-kata di sekitarnya. Konteks yang serupa berarti makna yang serupa.

word2vec menggeser jendela kecil di sepanjang teks dan belajar memprediksi setiap kata dari kata-kata di sekitarnya. Inilah pengaturan pelatihan skip-gram.

Diberi sebuah kata pusat, model menebak kata-kata di dekatnya. Di sini, jendela menunjukkan tetangga yang coba diprediksi.

Skip-gram memprediksi konteks dari sebuah kata, sedangkan CBOW memprediksi sebuah kata dari konteksnya. Keduanya mempelajari vektor; keduanya hanya melihat ke arah yang berlawanan.

Tugas prediksi hanyalah sarana. Yang kita simpan adalah bobot tersembunyi, yang menjadi vektor setiap kata setelah pelatihan.

Setiap tebakan yang salah sedikit menggeser vektor. Selama jutaan contoh, pembaruan kecil ini membentuk makna ke dalam angka-angka tersebut.

Kata-kata yang muncul dalam konteks serupa akan tertarik satu sama lain di dalam ruang. Itulah sebabnya king dan queen akhirnya berada berdekatan.

Melatih model pada setiap kata dalam kosakata membutuhkan waktu lama, jadi word2vec menggunakan pengambilan sampel negatif dengan belajar dari beberapa kata yang salah, bukan semuanya.

Kecerdasannya terletak pada kenyataan bahwa teks mentah menjadi gurunya sendiri. word2vec bersifat terawasi mandiri dan tidak membutuhkan label manusia untuk mempelajari makna. 🤖

Untuk pertama kalinya, matematika sederhana pada vektor mencerminkan hubungan kata yang nyata. word2vec menjadikan embedding praktis untuk semua orang.

word2vec mempelajari makna dengan memprediksi konteks, lalu menyimpan bobotnya sebagai vektor. Konteks yang serupa menarik kata-kata agar berdekatan, semuanya tanpa label. ✅