Dari Hitungan Jarang ke Vektor Padat

Bag-of-words dan TF-IDF mengubah teks menjadi vektor hitungan yang panjang. Keduanya berfungsi, tetapi vektor jarang tersebut menyembunyikan kelemahan nyata yang akan segera Anda lihat.

Vektor bag-of-words memiliki satu slot untuk setiap kata dalam kosakata, sehingga kalimat pendek hampir seluruhnya berisi angka nol. Kami menyebutnya representasi jarang.

Dengan 50.000 kata dalam kosakata, setiap dokumen menjadi vektor sepanjang 50.000. Itu berarti terlalu banyak dimensi untuk hanya beberapa sinyal nyata.

Dalam bag-of-words, kata cat dan anak kucing menempati slot yang sepenuhnya terpisah. Model sama sekali tidak melihat kemiripan di antara keduanya, meskipun kita melihatnya.

Vektor jarang menganggap setiap kata tidak berhubungan dengan kata lainnya. Vektor ini menangkap keberadaan, tetapi sama sekali melewatkan makna dan hubungan antarkata.

Embedding merepresentasikan setiap kata sebagai daftar pendek berisi bilangan riil, mungkin 100 nilai. Bentuk ringkas ini disebut vektor padat.

Alih-alih memiliki 50.000 slot yang sebagian besar bernilai nol, Anda mendapatkan sekitar 100 bilangan yang tersusun padat. Setiap dimensi secara tersirat menyandikan aspek makna yang dipelajari. ✨

Keajaibannya terletak pada geometri: kata-kata dengan makna serupa berada berdekatan di dalam ruang. Kedekatan di ruang ini kini berarti kedekatan dalam makna.

Kami membandingkan dua vektor padat dengan kemiripan kosinus, yang mengukur seberapa selaras arah keduanya. Nilai yang lebih tinggi berarti maknanya lebih mirip.

Tidak ada yang menulis angka-angka ini secara manual. Algoritme membaca teks dalam jumlah besar dan mempelajari setiap vektor kata berdasarkan cara kata-kata tersebut benar-benar digunakan.

Vektor padat lebih kecil, lebih cerdas, dan mampu menangkap hubungan yang tidak mungkin ditangkap oleh hitungan jarang. Perubahan tunggal ini mendukung sebagian besar NLP modern.

Hitungan jarang berukuran sangat besar dan menganggap kata-kata tidak saling berhubungan. Embedding padat mengatasi hal ini dengan vektor ringkas yang menempatkan kata-kata serupa secara berdekatan. ✅