N-Gram Karakter untuk Ketangguhan
Menangani salah ketik dan kata langka
N-Gram Karakter untuk Ketangguhan adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Fitur Kata Itu Rapuh
Fitur tingkat kata gagal menghadapi salah ketik dan ejaan yang jarang digunakan. Model menganggap runnning sebagai kata yang benar-benar baru, sehingga satu kesalahan dapat menghilangkan seluruh sinyalnya.
Turun ke Tingkat Karakter
Alih-alih menggunakan kata utuh, kami membagi teks menjadi potongan pendek berupa huruf. Potongan-potongan yang saling tumpang tindih ini disebut n-gram karakter.
Seperti Apa Bentuk 3-gram
Untuk kata cat, 3-gram karakter berupa tiga huruf yang sederhana. Potongan ini bergeser melintasi teks satu posisi demi satu posisi untuk membentuk potongan yang saling tumpang tindih.
word = "happy"
grams = [word[i:i+3] for i in range(len(word)-2)]Mengapa Tahan terhadap Salah Ketik
Kata run dan runn memiliki sebagian besar gram karakter yang sama. Jadi, sebuah salah ketik hanya mengubah beberapa fitur, bukan menghapus seluruh kata.
Menangkap Keluarga Kata
play, playing, dan player semuanya memiliki gram pla. Gram karakter secara tersirat menghubungkan bentuk-bentuk yang berkaitan tanpa langkah stemming apa pun.
Cocok untuk Teks yang Berantakan
Media sosial, nama pengguna, dan kode produk penuh dengan ejaan yang tidak biasa. Gram karakter tetap tangguh ketika fitur kata tidak lagi berfungsi.
Mengaktifkan Mode Karakter
scikit-learn menjadikan ini satu parameter. Atur analyzer ke char dan pilih ngram_range untuk mengekstrak gram karakter, bukan kata.
from sklearn.feature_extraction.text import TfidfVectorizer
vec = TfidfVectorizer(analyzer="char", ngram_range=(3, 5))char_wb Menghormati Batas Kata
Penganalisis char_wb hanya membuat gram di dalam batas kata, dengan menambahkan padding pada setiap kata. Cara ini mempertahankan ketangguhan sekaligus menghindari gram yang melintasi dua kata.
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4))Bermanfaat untuk Bahasa Lain
Bahasa yang menggabungkan kata atau memiliki banyak akhiran sulit ditangani oleh tokenizer kata. Gram karakter mengatasi hal tersebut dan tetap ramah terhadap bahasa.
Konsekuensinya: Fitur Lebih Besar
Gram karakter menghasilkan jauh lebih banyak fitur daripada kata. Dimensionalitas tambahan ini membutuhkan lebih banyak memori, jadi batasi rentangnya.
Paling Baik sebagai Rekan
Gram karakter paling bermanfaat jika digabungkan dengan fitur kata, bukan digunakan sebagai pengganti. Bersama-sama, keduanya mencakup makna dan ketangguhan. 💪
Pemeriksaan Singkat
Mengapa n-gram karakter dapat menangani salah ketik dengan sangat baik?
Ringkasan
N-gram karakter membagi teks menjadi potongan huruf, tetap berguna meskipun terdapat salah ketik, dan menghubungkan keluarga kata. Gunakan analyzer char di scikit-learn bersama fitur kata. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “N-Gram Karakter untuk Ketangguhan” gratis?
Ya — teks lengkap “N-Gram Karakter untuk Ketangguhan” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “N-Gram Karakter untuk Ketangguhan”?
Menangani salah ketik dan kata langka Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “N-Gram Karakter untuk Ketangguhan” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Melampaui Bag-of-Words
- N-Gram Karakter untuk Ketangguhan
- Menggabungkan Berbagai Jenis Fitur
- Menskalakan dan Memilih Fitur