Masalah pada Hitungan Mentah
Mengapa kata yang sering muncul dapat menyesatkan
Masalah pada Hitungan Mentah adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 1 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Hitungan Membantu Kita Memulai
Kantong kata mengubah teks menjadi bilangan dengan menghitung setiap kata. Cara ini bekerja, tetapi hitungan mentah secara diam-diam dapat menyesatkan model Anda dan perlu diperbaiki.
Kata yang Sering Muncul Mendominasi
Kata yang paling umum dalam sebuah dokumen biasanya paling tidak berguna. Frekuensinya yang tinggi menenggelamkan kata-kata langka yang sebenarnya membawa makna.
Kenali Kata Pengisi
Kata seperti the, is, dan of muncul terus-menerus di setiap teks. Kata pengisi ini hampir tidak memberi tahu apa pun tentang isi sebenarnya sebuah dokumen.
Contoh Penghitungan Singkat
Hitung kata-kata dalam kalimat ini dan the akan langsung menjadi yang paling menonjol. Perhatikan bahwa token yang paling sering muncul juga paling tidak informatif. 🔍
text = "the cat sat on the mat"
counts = {}
for w in text.split():
counts[w] = counts.get(w, 0) + 1
print(counts)Dokumen Panjang Mendapat Keuntungan
Dokumen yang lebih panjang secara alami memiliki hitungan yang lebih besar di semua bagian. Bilangan mentah memberi penghargaan pada panjang, bukan relevansi, sehingga dokumen besar tampak penting secara tidak wajar.
Kata Langka Sangat Berharga
Kata yang hanya muncul dalam satu dokumen merupakan petunjuk kuat tentang dokumen tersebut. Namun, hitungan mentah memperlakukan sinyal langka ini sama seperti derau umum.
Kita Membutuhkan Dua Sinyal
Pembobotan yang baik menanyakan dua hal: seberapa sering sebuah kata muncul di sini, dan seberapa langka kata itu di seluruh dokumen. Hitungan hanya menjawab pertanyaan pertama.
Kekhasan Lebih Baik daripada Frekuensi
Kita ingin memberi bobot lebih pada kata yang khas bagi suatu dokumen, bukan sekadar sering muncul. Kekhasanlah yang membedakan kata topik dari derau latar belakang.
Kenali TF-IDF
Perbaikan klasiknya adalah skor yang disebut TF-IDF. Skor ini meningkatkan bobot kata yang sering muncul dalam satu dokumen tetapi jarang muncul di seluruh kumpulan dokumen.
Alur yang Sama, Bilangan yang Lebih Baik
Anda tetap melakukan tokenisasi dan membangun kosakata seperti sebelumnya. TF-IDF hanya mengganti hitungan mentah dengan bobot yang lebih cerdas dalam bentuk matriks yang sama.
Mengapa Ini Penting
Bobot yang lebih baik membuat pencarian, pengelompokan, dan pengklasifikasi berfokus pada kata yang tepat. Memperbaiki hitungan mentah adalah peningkatan mudah terbesar untuk fitur teks.
Pemeriksaan Singkat
Mengapa hitungan kata mentah merupakan cara yang lemah untuk memberi bobot pada teks?
Rangkuman
Hitungan mentah memberi bobot pada frekuensi dan panjang, bukan relevansi. Anda telah melihat mengapa kita memerlukan skor yang lebih cerdas, sebagai dasar untuk TF-IDF yang memberi bobot pada kata berdasarkan seberapa khas kata tersebut. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Masalah pada Hitungan Mentah” gratis?
Ya — teks lengkap “Masalah pada Hitungan Mentah” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Masalah pada Hitungan Mentah”?
Mengapa kata yang sering muncul dapat menyesatkan Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 1 dari 4.
Berapa lama pelajaran “Masalah pada Hitungan Mentah” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Masalah pada Hitungan Mentah
- Frekuensi Istilah dan Frekuensi Dokumen Terbalik
- TF-IDF dengan scikit-learn
- Menemukan Kata yang Paling Penting