Bigrams dan Trigrams, Dijelaskan
Jendela geser pada token
Bigrams dan Trigrams, Dijelaskan adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Menamai N-Gram
Huruf n dalam n-gram hanyalah sebuah angka. Pilih n untuk menentukan jumlah kata berdekatan yang digabungkan oleh setiap fitur.
Kenali Bigram
Bigram adalah n-gram berukuran dua, yaitu setiap pasangan kata yang bersebelahan. Bigram merupakan peningkatan paling umum dari kata tunggal biasa. 👍
Bigram dalam Praktik
Dari empat kata, Anda mendapatkan tiga pasangan yang saling tumpang tindih. Perhatikan bahwa setiap bigram berbagi satu kata dengan bigram berikutnya.
words = "i love clean code".split()
bigrams = list(zip(words, words[1:]))
print(bigrams)Kenali Trigram
Trigram mengambil tiga kata sekaligus. Trigram menangkap lebih banyak konteks, seperti is not good sebagai satu kesatuan.
words = "this is not good".split()
trigrams = list(zip(words, words[1:], words[2:]))
print(trigrams)Berapa Banyak yang Anda Dapatkan?
Untuk kalimat yang terdiri dari N kata, Anda mendapatkan N dikurangi n ditambah satu n-gram. Jadi, 4 kata menghasilkan 3 bigram dan 2 trigram.
Jendela Bergeser
Setiap n-gram berasal dari jendela kecil yang bergerak maju satu kata. Tumpang tindih memang diperlukan karena kata yang sama menyatukan konteks.
Fungsi Pembantu yang Dapat Digunakan Kembali
Anda dapat membuat n-gram apa pun dengan satu fungsi ringkas menggunakan zip. Ubah nilai n dan kode yang sama akan menangani bigram maupun trigram.
def ngrams(words, n):
return list(zip(*[words[i:] for i in range(n)]))N Lebih Besar, Konteks Lebih Banyak
Nilai n yang lebih tinggi memuat frasa yang lebih panjang, sehingga menangkap konteks dengan lebih tepat. Kemampuan ini memiliki konsekuensi yang akan Anda pelajari sebentar lagi.
N Lebih Besar, Gram Lebih Jarang
Semakin panjang rangkaiannya, semakin jarang urutan persis tersebut berulang. N-gram berukuran besar menjadi jarang dan hanya muncul dalam sedikit dokumen.
Mengapa Bigram Populer
Bigram berada di titik yang tepat: cukup banyak konteks untuk menangkap not bad, tetapi cukup umum untuk berulang di berbagai teks. Keseimbangan ini menjadikannya bawaan yang andal.
Mencampur Ukuran
Anda jarang menggunakan satu ukuran saja. Sebagian besar alur pemrosesan menggabungkan unigram dan bigram agar model melihat kata tunggal sekaligus pasangan pentingnya.
Pemeriksaan Singkat
Berapa banyak bigram yang dihasilkan dari kalimat text is just data, yang terdiri dari empat kata?
Rangkuman: Bigram dan Trigram
Bigram menggabungkan dua kata, sedangkan trigram menggabungkan tiga kata. N yang lebih besar memuat lebih banyak konteks, tetapi muncul lebih jarang. Selanjutnya Anda akan membiarkan scikit-learn membuatnya. ⚙️
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Bigrams dan Trigrams, Dijelaskan” gratis?
Ya — teks lengkap “Bigrams dan Trigrams, Dijelaskan” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Bigrams dan Trigrams, Dijelaskan”?
Jendela geser pada token Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Bigrams dan Trigrams, Dijelaskan” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Satu Kata Kehilangan Makna
- Bigrams dan Trigrams, Dijelaskan
- Fitur N-Gram dalam scikit-learn
- Memilih Rentang N-Gram yang Tepat