Melakukan Tokenisasi dengan NLTK
Menggunakan tokenizer sungguhan untuk teks yang berantakan
Melakukan Tokenisasi dengan NLTK adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Tokenizer Sungguhan
Saatnya meningkatkan kemampuan. NLTK adalah library Python klasik yang menyediakan tokenizer tepat untuk teks nyata yang berantakan. 🛠️
Memasang dan Mengimpor
Anda memasangnya sekali dengan pip, lalu mengimpornya dalam skrip. Setelah itu, word_tokenize milik NLTK dapat digunakan dengan satu pemanggilan fungsi.
from nltk import word_tokenizePenyiapan Sekali Saja
NLTK menyediakan data tambahan secara terpisah. Sebelum melakukan tokenisasi, Anda mengunduh model punkt sekali, lalu semuanya dapat langsung digunakan.
import nltk
nltk.download("punkt")Melakukan Tokenisasi pada Kalimat
Sekarang berikan string apa pun kepada word_tokenize. Fungsi ini mengembalikan daftar bersih berisi token kata dan tanda baca, siap dihitung atau disaring.
word_tokenize("I love cats!")
# ['I', 'love', 'cats', '!']Tanda Baca Dipisahkan
Perhatikan manfaatnya: tanda seru kini menjadi token tersendiri. Jadi cats dan cats! akhirnya dihitung sebagai kata yang sama.
Kontraksi Ditangani
NLTK menangani kontraksi dengan cerdas. Fungsi ini memecah don't menjadi do dan n't, sehingga negasi tersembunyi tetap terlihat oleh kode Anda.
word_tokenize("don't")
# ['do', "n't"]Mengapa Lebih Cerdas
Di balik layar, NLTK mengikuti rules linguistik yang dipelajari dari teks nyata. Itulah sebabnya NLTK selalu mengungguli pemisahan whitespace biasa.
Kalimat Juga
NLTK juga melakukan segmentasi kalimat. Padukan sent_tokenize dengan word_tokenize untuk memecah dokumen menjadi kalimat, lalu setiap kalimat menjadi kata.
from nltk import sent_tokenize
sent_tokenize("Hi there. Bye now.")Menggabungkan Keduanya
Pola yang umum adalah melakukan perulangan pada kalimat dan melakukan tokenisasi pada setiap kalimat. Hasilnya berupa list of lists yang rapi, satu daftar token untuk setiap kalimat.
Bukan Satu-satunya Pilihan
NLTK sangat bagus untuk belajar, tetapi bukan satu-satunya pilihan. Library seperti spaCy menyediakan tokenizer yang lebih cepat dan akan Anda pelajari nanti.
Dari Teks Mentah Menjadi Token
Sekarang Anda menguasai seluruh proses: teks mentah masuk, lalu token list yang bersih keluar. Inilah dasar yang digunakan oleh setiap langkah NLP berikutnya.
Pemeriksaan Singkat
Bagaimana NLTK memperbaiki pemisahan sederhana?
Ringkasan
Anda menggunakan NLTK untuk melakukan tokenisasi pada teks nyata: pasang, download punkt, lalu panggil word_tokenize. NLTK memisahkan tanda baca dan kontraksi dengan rapi untuk Anda.
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Melakukan Tokenisasi dengan NLTK” gratis?
Ya — teks lengkap “Melakukan Tokenisasi dengan NLTK” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Melakukan Tokenisasi dengan NLTK”?
Menggunakan tokenizer sungguhan untuk teks yang berantakan Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Melakukan Tokenisasi dengan NLTK” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Sebenarnya, Apa Itu Token?
- Memisahkan Berdasarkan Spasi dan Batasannya
- Dasar-Dasar Segmentasi Kalimat
- Melakukan Tokenisasi dengan NLTK