Memilih Rentang N-Gram yang Tepat
Menyeimbangkan sinyal dan ledakan jumlah fitur
Memilih Rentang N-Gram yang Tepat adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Kompromi yang Nyata
Memilih rentang n-gram memerlukan keseimbangan. Konteks yang lebih banyak membantu model, tetapi dapat membanjiri Anda dengan fitur dan derau.
Biaya Memperbesar Rentang
Setiap kenaikan nilai n dapat melipatgandakan kosakata Anda. Pembengkakan fitur ini berarti pelatihan lebih lambat dan penggunaan memori yang lebih besar.
Gram yang Jarang Menambah Derau
N-gram panjang sering kali hanya muncul sekali dan tidak pernah muncul lagi. Fitur-fitur jarang ini biasanya tidak dapat digeneralisasi dengan baik dan dapat mendorong model mengalami overfitting.
Mulailah dari yang Kecil dan Sederhana
Langkah awal yang baik adalah (1, 2): unigram dan bigram. Rentang ini menangkap negasi serta frasa pendek tanpa membuat jumlah fitur membengkak.
vec = CountVectorizer(ngram_range=(1, 2))Saat Trigram Layak Digunakan
Gunakan (1, 3) hanya ketika frasa tetap yang terdiri dari tiga kata memang penting, seperti nama produk. Jika tidak, kolom tambahan tersebut biasanya tidak sepadan.
Pangkas dengan min_df
Tetapkan min_df agar sebuah gram harus muncul dalam beberapa dokumen supaya dihitung. Cara ini secara diam-diam menghapus frasa yang hanya muncul sekali dan sekadar menambah derau.
vec = CountVectorizer(ngram_range=(1, 3), min_df=3)Batasi dengan max_features
Anda juga dapat memberikan batas anggaran kepada vektorisator. max_features hanya mempertahankan istilah teratas berdasarkan frekuensi, sehingga lebar matriks tetap.
vec = CountVectorizer(ngram_range=(1, 2), max_features=10000)Biarkan Data yang Menentukan
Jangan terus-menerus menebak. Cobalah beberapa rentang dan bandingkan skor validasi. Data akan menunjukkan kepada Anda titik ketika peningkatan mulai mendatar.
Sesuaikan Secara Otomatis
Masukkan ngram_range ke dalam pencarian grid dan biarkan scikit-learn menguji berbagai rentang untuk Anda, lalu memilih opsi dengan skor validasi silang terbaik.
params = {"vec__ngram_range": [(1, 1), (1, 2), (1, 3)]}Waspadai Overfitting
Jika akurasi pelatihan melonjak tetapi validasi tertinggal, rentang Anda mungkin terlalu lebar. Mengurangi n sering kali membuat model tergeneralisasi lebih baik pada teks baru.
Bawaan yang Masuk Akal
Untuk sebagian besar tugas teks, ngram_range (1, 2) dengan min_df kecil merupakan tolok ukur awal yang kuat dan cepat. Gunakan rentang yang lebih tinggi hanya jika bukti menunjukkannya.
Pemeriksaan Singkat
Model trigram Anda mengalami overfitting dan berlatih dengan lambat. Perubahan tunggal apa yang paling langsung mengatasi pembengkakan fitur?
Ringkasan: Memilih Rentang
Mulailah dari (1, 2), pangkas dengan min_df, batasi dengan max_features, dan biarkan validasi memilih yang terbaik. Kini Anda dapat memodelkan konteks dengan n-gram. 🚀
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Memilih Rentang N-Gram yang Tepat” gratis?
Ya — teks lengkap “Memilih Rentang N-Gram yang Tepat” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Memilih Rentang N-Gram yang Tepat”?
Menyeimbangkan sinyal dan ledakan jumlah fitur Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Memilih Rentang N-Gram yang Tepat” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Satu Kata Kehilangan Makna
- Bigrams dan Trigrams, Dijelaskan
- Fitur N-Gram dalam scikit-learn
- Memilih Rentang N-Gram yang Tepat