Menghitung dengan CountVectorizer
Mengubah dokumen menjadi matriks hitungan
Menghitung dengan CountVectorizer adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Kenali CountVectorizer
CountVectorizer dari scikit-learn membuat kosakata dan menghitung kata untuk Anda hanya dalam beberapa baris. 🚀
from sklearn.feature_extraction.text import CountVectorizerBuat Vektorisator
Pertama, buat sebuah instans. Tanpa argumen, alat ini menggunakan nilai bawaan yang sesuai untuk melakukan tokenisasi dan mengubah teks menjadi huruf kecil.
vectorizer = CountVectorizer()fit Mempelajari Kosakata
Memanggil fit memindai dokumen dan menemukan setiap kata unik, lalu membangun kosakata secara otomatis.
vectorizer.fit(docs)transform Menghasilkan Hitungan
Kemudian transform mengubah setiap dokumen menjadi vektor hitungannya, sehingga Anda mendapatkan matriks numerik berisi frekuensi kata.
X = vectorizer.transform(docs)fit dan transform Bersamaan
Pintasan fit_transform melakukan kedua langkah sekaligus pada teks pelatihan Anda, yang merupakan alur kerja umum.
X = vectorizer.fit_transform(docs)Lihat Kosakata
Periksa kata-kata yang telah dipelajari beserta indeksnya menggunakan get_feature_names_out. Kata-kata ini menjadi kolom matriks Anda.
print(vectorizer.get_feature_names_out())Keluaran Berupa Matriks Renggang
Untuk menghemat memori, hasilnya berupa matriks renggang yang hanya menyimpan hitungan bukan nol, bukan setiap slot nol.
Lihat Sekilas Bilangannya
Konversikan ke susunan padat untuk benar-benar membaca hitungannya. Gunakan toarray hanya untuk contoh kecil.
print(X.toarray())Pengubahan ke Huruf Kecil Otomatis
Secara bawaan, alat ini mengubah teks menjadi huruf kecil dan memisahkannya berdasarkan batas kata, sehingga The dan the dihitung sebagai token yang sama.
Opsi Pembersihan Bawaan
Anda dapat meneruskan stop_words, min_df, atau max_features untuk memangkas kosakata langsung di dalam vektorisator.
CountVectorizer(stop_words="english", max_features=1000)Gunakan Kembali pada Teks Baru
Jangan pernah melakukan fit ulang pada data pengujian. Panggil hanya transform agar dokumen baru menggunakan kosakata yang sama persis dengan kosakata saat pelatihan.
X_new = vectorizer.transform(new_docs)Pemeriksaan Singkat
Pemanggilan mana yang mempelajari kosakata dan menghitung kata dalam satu langkah?
Rangkuman: CountVectorizer
Anda menggunakan CountVectorizer untuk melakukan fit pada kosakata, mengubah teks menjadi hitungan, memeriksa fitur, dan menggunakannya kembali pada data baru. 🎉
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Menghitung dengan CountVectorizer” gratis?
Ya — teks lengkap “Menghitung dengan CountVectorizer” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Menghitung dengan CountVectorizer”?
Mengubah dokumen menjadi matriks hitungan Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Menghitung dengan CountVectorizer” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Model Memerlukan Angka, Bukan Kata
- Membangun Kosakata
- Menghitung dengan CountVectorizer
- Membaca Matriks Dokumen-Istilah