Menjalankan LDA dengan Gensim
Melatih topik pada korpus nyata
Menjalankan LDA dengan Gensim adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Kenali Gensim
Gensim adalah pustaka Python yang dibuat untuk pemodelan topik. Pustaka ini membuat penerapan LDA pada teks nyata menjadi cepat dan mudah dipahami. 🐍
from gensim import corpora, modelsMulai dengan Token
Gensim mengharapkan setiap dokumen sebagai daftar token yang bersih. Anda perlu menyediakan daftar kata yang sudah diubah menjadi huruf kecil dan bebas kata henti.
docs = [["price", "refund"], ["battery", "screen"]]Buat Kamus
Dictionary Gensim memetakan setiap kata unik ke id bilangan bulat. LDA bekerja menggunakan id tersebut, bukan string mentah.
dictionary = corpora.Dictionary(docs)Buat Korpus
Ubah setiap dokumen menjadi bag-of-words: pasangan id kata dan jumlah kemunculannya. Daftar ini adalah korpus Anda. 📦
corpus = [dictionary.doc2bow(d) for d in docs]Latih Model
Sekarang sesuaikan LdaModel dengan memberikan korpus, kamus, dan jumlah topik yang ingin ditemukan.
lda = models.LdaModel(corpus, num_topics=2, id2word=dictionary)Pilih num_topics dengan Bijak
num_topics adalah pilihan terpenting Anda. Terlalu sedikit topik akan mencampurkan tema, sedangkan terlalu banyak akan memecahnya menjadi derau.
Lebih Banyak Lintasan, Kesesuaian Lebih Baik
Argumen passes menentukan berapa kali LDA membaca korpus. Beberapa lintasan tambahan biasanya membuat topik lebih tajam.
lda = models.LdaModel(corpus, num_topics=2, passes=10)Intip Topiknya
Panggil print_topics untuk melihat setiap topik sebagai kata-kata dengan bobot tertinggi. Ini adalah pandangan pertama Anda terhadap temuan LDA.
for t in lda.print_topics():
print(t)Nilai Dokumen Baru
Berikan bag-of-words baru kepada model untuk mendapatkan distribusi topik yang menunjukkan seberapa besar keterkaitan setiap topik.
lda[dictionary.doc2bow(["refund", "price"])]Ringkas Kamus
Gunakan filter_extremes untuk membuang kata yang sangat jarang dan sangat umum. Kosakata yang lebih bersih menghasilkan topik yang lebih jelas. 🧹
dictionary.filter_extremes(no_below=2, no_above=0.5)Tetapkan Benih
LDA memiliki unsur acak. Berikan random_state agar topik yang dihasilkan sama pada setiap proses, sehingga hasilnya dapat direproduksi.
lda = models.LdaModel(corpus, num_topics=2, random_state=42)Pemeriksaan Singkat
Ingat kembali langkah-langkah sebelum melatih model LDA di Gensim.
Rangkuman
Lakukan tokenisasi, buat Dictionary, susun korpus bag-of-words, lalu sesuaikan LdaModel dengan num_topics yang Anda pilih. Gensim menangani sisanya. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Menjalankan LDA dengan Gensim” gratis?
Ya — teks lengkap “Menjalankan LDA dengan Gensim” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Menjalankan LDA dengan Gensim”?
Melatih topik pada korpus nyata Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Menjalankan LDA dengan Gensim” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Masalah yang Diatasi Pemodelan Topik
- Bagaimana LDA Mengelompokkan Kata Menjadi Topik
- Menjalankan LDA dengan Gensim
- Menafsirkan dan Memberi Label Topik