NLP Academy · Pelajaran

Menjalankan LDA dengan Gensim

Padankan topik pada korpus sebenar

Pelajaran 3 daripada 413 langkah

Menjalankan LDA dengan Gensim ialah pelajaran NLP Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran NLP Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.

Kenali Gensim

Gensim ialah pustaka Python yang dibina untuk pemodelan topik. Ia menjadikan pelaksanaan LDA pada teks sebenar pantas dan mudah didekati. 🐍

from gensim import corpora, models

Mulakan dengan Token

Gensim menjangka setiap dokumen sebagai senarai token yang bersih. Anda perlu menyediakan senarai perkataan yang telah ditukar kepada huruf kecil dan dibuang kata henti.

docs = [["price", "refund"], ["battery", "screen"]]

Bina Dictionary

Dictionary Gensim memetakan setiap perkataan unik kepada id integer. LDA berfungsi dengan id tersebut, bukan rentetan mentah.

dictionary = corpora.Dictionary(docs)

Cipta Korpus

Tukarkan setiap dokumen kepada beg perkataan: pasangan id perkataan dan bilangannya. Senarai ini ialah korpus Anda. 📦

corpus = [dictionary.doc2bow(d) for d in docs]

Latih Model

Sekarang padankan LdaModel dengan memberikan korpus, kamus dan jumlah topik yang ingin ditemuinya.

lda = models.LdaModel(corpus, num_topics=2, id2word=dictionary)

Pilih num_topics dengan Bijak

num_topics ialah pilihan terpenting Anda. Terlalu sedikit akan mengaburkan tema, manakala terlalu banyak akan memecahkannya menjadi hingar.

Lebih Banyak Ulangan, Padanan Lebih Baik

Argumen passes menetapkan bilangan kali LDA membaca korpus. Beberapa ulangan tambahan biasanya menjadikan topik lebih jelas.

lda = models.LdaModel(corpus, num_topics=2, passes=10)

Lihat Topik Sekilas

Panggil print_topics untuk melihat setiap topik sebagai perkataan dengan pemberat tertinggi. Inilah pandangan pertama Anda tentang perkara yang ditemui LDA.

for t in lda.print_topics():
    print(t)

Nilai Dokumen Baharu

Berikan beg perkataan baharu kepada model untuk mendapatkan taburan topik, yang menunjukkan sejauh mana setiap topik berkaitan.

lda[dictionary.doc2bow(["refund", "price"])]

Ringkaskan Dictionary

Gunakan filter_extremes untuk membuang perkataan yang amat jarang dan amat biasa. Kosa kata yang lebih bersih menghasilkan topik yang lebih jelas. 🧹

dictionary.filter_extremes(no_below=2, no_above=0.5)

Tetapkan Benih

LDA mengandungi unsur rawak. Berikan random_state supaya topik yang terhasil sama pada setiap pelaksanaan, sekali gus menjadikan hasil dapat dihasilkan semula.

lda = models.LdaModel(corpus, num_topics=2, random_state=42)

Semakan Pantas

Ingat kembali langkah-langkah sebelum melatih model LDA dalam Gensim.

Jawab dalam pelajaran interaktif

Ulang Kaji

Tokenkan teks, bina Dictionary, hasilkan korpus beg perkataan, kemudian padankan LdaModel dengan num_topics pilihan Anda. Gensim mengendalikan selebihnya. ✅

Percuma untuk bermula

Pelajari Python dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus: 30
Pelajaran: 120

Mula belajar secara percuma Lihat kursus penuh

Soalan Lazim

Adakah pelajaran “Menjalankan LDA dengan Gensim” percuma?

Ya — sebanyak 3 pelajaran dalam laluan pembelajaran NLP Academy, termasuk “Menjalankan LDA dengan Gensim”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Menjalankan LDA dengan Gensim”?

Padankan topik pada korpus sebenar Anda berlatih NLP Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan NLP Academy?

Tiada pengalaman terdahulu diperlukan. Pembelajaran NLP Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Menjalankan LDA dengan Gensim” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran NLP Academy ini?

Ya. Setiap pelajaran NLP Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

Perkara yang Diselesaikan oleh Pemodelan Topik
Cara LDA Mengumpulkan Perkataan kepada Topik
Menjalankan LDA dengan Gensim
Mentafsir dan Melabel Topik

← Kembali ke NLP Academy