Mengapa Embedding Menangkap Makna

Setiap vektor kata adalah titik dalam ruang berdimensi tinggi. Pelatihan menata titik-titik ini sehingga geometrinya mencerminkan makna. 🌌

Setelah dilatih, kata-kata yang digunakan dengan cara serupa berada dekat satu sama lain. Vektor untuk kucing dan anjing akhirnya menjadi tetangga dekat.

Kata-kata yang berbagi konteks didorong agar berdekatan, karena model belajar memprediksi kata-kata tersebut dalam situasi yang sama.

Untuk membandingkan dua vektor, gunakan cosine similarity: sudut di antara keduanya. Sudut yang kecil berarti kata-kata tersebut mirip.

Bukan hanya jarak yang penting; arah antara vektor dapat menyandikan hubungan, seperti bentuk tunggal dan jamak.

Hasil klasik: vektor untuk raja dikurangi pria ditambah wanita berada dekat dengan ratu. Embedding menangkap analogi sebagai operasi aritmetika.

Berbeda dari vektor one-hot yang menganggap setiap kata sama-sama berbeda, embedding padat berbagi struktur, sehingga pembelajaran dapat berpindah antar kata yang serupa.

Sejumlah kecil dimensi float dapat menyatakan ribuan perbedaan yang halus. Kompresi inilah yang membuat embedding sangat efisien.

Anda dapat memuat vektor yang telah dilatih sebelumnya pada korpus berukuran sangat besar, sehingga model Anda memperoleh titik awal yang bermakna secara gratis.

Alat seperti t-SNE memproyeksikan embedding ke 2D agar Anda dapat melihat gugus kata yang berkaitan membentuk lingkungan yang jelas.

Tidak ada yang menulis vektor-vektor ini secara manual. Struktur muncul sepenuhnya dari data dan tujuan pelatihan itu sendiri.

Embedding menempatkan kata-kata dalam ruang tempat jarak dan arah menyandikan makna, yang dipelajari sepenuhnya dari cara kata-kata digunakan. ✅