Membangun Kosakata
Memetakan setiap kata ke indeks tetap
Membangun Kosakata adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Apa Itu Kosakata?
Kosakata adalah seluruh kumpulan kata unik yang dikenal model Anda. Setiap kata mendapat satu slot tetap dalam setiap vektor dokumen. 📖
Kumpulkan Setiap Kata Unik
Untuk membuatnya, kumpulkan semua kata dari seluruh dokumen dan simpan hanya kata yang berbeda, dengan menghapus pengulangan.
words = set("the cat sat the mat".split())Berikan Indeks pada Setiap Kata
Urutkan kata-kata unik dan tetapkan bilangan untuk masing-masing kata. Pemetaan kata ke indeks ini adalah pencarian kosakata Anda.
vocab = {w: i for i, w in enumerate(sorted(words))}Indeks Menentukan Slot
Indeks memberi tahu posisi yang ditempati sebuah kata dalam setiap vektor, sehingga cat selalu berada di kolom yang sama.
Kosakata Menentukan Panjang Vektor
Jika kosakata Anda memiliki 5000 kata, setiap dokumen menjadi vektor yang terdiri atas 5000 bilangan, satu slot untuk setiap kata.
Urutan Harus Tetap
Setelah ditetapkan, pemetaan tidak boleh berubah. Urutan yang stabil menjamin bahwa kolom 3 berarti kata yang sama untuk setiap dokumen.
Kata di Luar Kosakata
Kata yang tidak ada dalam kosakata disebut di luar kosakata. Pilihan paling sederhana adalah mengabaikannya saat menghitung.
Pangkas Kata yang Jarang
Kata yang hanya muncul sekali menambah derau dan ukuran. Menghapus istilah yang sangat jarang membuat kosakata lebih kecil dan lebih rapi.
Hapus Kata yang Sangat Umum
Anda juga dapat menghapus kata yang muncul di hampir setiap dokumen. Kata henti ini jarang membantu membedakan dokumen.
Cari Sebuah Indeks
Setelah peta dibuat, menemukan posisi sebuah kata dapat dilakukan seketika. Cukup indekskan kamus berdasarkan kata yang Anda inginkan.
print(vocab["cat"]) # the column index for catKosakata Mendukung Penghitungan
Peta ini merupakan dasar vektorisasi. Selanjutnya, isi setiap slot dengan seberapa sering kata tersebut muncul dalam sebuah dokumen.
Pemeriksaan Singkat
Apa yang direpresentasikan oleh indeks kata?
Rangkuman: Kosakata Anda
Anda membuat kosakata berisi kata-kata unik, memetakan setiap kata ke indeks tetap, dan melihat bagaimana pemangkasan membuatnya ringkas serta berguna. 🎉
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Membangun Kosakata” gratis?
Ya — teks lengkap “Membangun Kosakata” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Membangun Kosakata”?
Memetakan setiap kata ke indeks tetap Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Membangun Kosakata” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Model Memerlukan Angka, Bukan Kata
- Membangun Kosakata
- Menghitung dengan CountVectorizer
- Membaca Matriks Dokumen-Istilah