Bagaimana LDA Mengelompokkan Kata Menjadi Topik

LDA mengasumsikan bahwa setiap dokumen ditulis dengan mencampurkan beberapa topik, dan setiap topik cenderung menggunakan kata-kata tertentu. Model bekerja secara terbalik untuk menemukan keduanya.

LDA mempelajari dua hal sekaligus: topik mana yang digunakan setiap dokumen dan kata mana yang disukai setiap topik. Keduanya tersembunyi sampai model menemukannya. 🍳

Di dalam LDA, sebuah topik adalah probabilitas atas kata-kata. Topik olahraga memberi bobot tinggi pada gol dan pertandingan, serta bobot rendah pada resep.

Setiap dokumen juga mendapatkan campurannya sendiri: mungkin 60% topik satu dan 40% topik dua. Campuran tersebut menjelaskan pilihan katanya.

LDA membayangkan bahwa setiap kata ditulis dengan memilih topik terlebih dahulu, lalu mengambil sebuah kata dari topik tersebut. Kisah generatif ini adalah inti model. ✍️

Anda hanya melihat kata-kata yang sudah jadi. LDA menyimpulkan topik tersembunyi yang paling mungkin menghasilkan kata-kata tersebut, dengan membalik proses generatifnya.

Kata-kata yang terus muncul bersama akan ditarik ke dalam topik yang sama. Kemunculan bersama adalah sinyal utama yang digunakan LDA untuk mengelompokkannya.

LDA tidak menebak berapa banyak topik yang ada. Anda menetapkan num_topics sejak awal, lalu model mengisinya.

LDA menggunakan sudut pandang bag-of-words: hanya kata yang muncul dan seberapa sering kata itu muncul yang diperhatikan, bukan urutannya. Tata bahasa diabaikan saat menemukan tema.

Sebuah kata dapat termasuk dalam beberapa topik dengan bobot berbeda. LDA memberikan penetapan yang lunak, tanpa pernah memaksa kata masuk hanya ke satu kelompok.

Latent berarti tersembunyi, Dirichlet adalah matematika untuk campuran, dan Allocation berarti menetapkan kata. Ketiganya membentuk LDA.

LDA mengasumsikan bahwa topik adalah distribusi kata dan dokumen adalah campuran topik. Model bekerja secara terbalik dari kata-kata yang muncul bersama untuk menemukan kedua struktur tersembunyi tersebut. 🧩