Matematika Kata: King Dikurangi Man Ditambah Woman

Karena kata-kata kini berupa vektor, Anda dapat menjumlahkan dan mengurangkannya seperti anak panah. Hal ini membuka gagasan menarik yang disebut matematika kata.

Ambil king, kurangi man, tambahkan woman, dan vektor terdekatnya adalah queen. Analogi ini membuat para peneliti kagum ketika pertama kali ditemukan. 👑

Langkah dari man ke woman merupakan arah yang konsisten di dalam ruang. Menambahkan arah yang sama ke king akan membawa Anda mendekati queen.

Banyak hubungan berubah menjadi pergeseran vektor yang dapat diulang. Jarak yang menyandikan gender atau kala bertindak seperti anak panah tetap pada berbagai pasangan kata.

Trik ini dapat digeneralisasikan dengan baik. Paris dikurangi France lalu ditambah Italy menghasilkan titik yang dekat dengan Rome, sehingga menangkap hubungan ibu kota dan negara.

Anda menghitung vektor target, lalu mencari tetangga terdekat di antara semua vektor kata menggunakan kemiripan kosinus.

gensim membungkus seluruh analogi dalam satu pemanggilan. Anda mencantumkan kata positif dan negatif, lalu membaca hasil teratas.

Bahkan tanpa pengurangan, Anda dapat menanyakan kata-kata mana yang paling dekat dengan satu istilah. Tetangga ini mengungkapkan apa yang dianggap serupa oleh model.

Analogi sering kali berhasil, tetapi tidak selalu. Bias dalam teks pelatihan dapat menghasilkan hasil yang tidak adil atau salah, jadi tetaplah kritis.

Embedding menyerap stereotip yang terdapat dalam datanya. Selalu ingat bahwa bias dalam teks menjadi bias dalam model Anda.

Aritmetika sederhana pada vektor yang dipelajari mencerminkan hubungan manusia yang nyata. Itulah tanda paling jelas bahwa embedding benar-benar menangkap makna. ✨

Matematika kata menjumlahkan dan mengurangkan vektor untuk menyelesaikan analogi seperti king terhadap queen. Hal ini menunjukkan bahwa embedding menyandikan hubungan nyata, termasuk bias. ✅