Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang
Membungkus langkah-langkah Anda ke dalam satu pembantu
Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Satukan Semuanya
Anda telah mempelajari perubahan menjadi huruf kecil, penghapusan stopword, dan penghapusan tanda baca. Sekarang mari kita gabungkan semuanya ke dalam satu fungsi yang dapat digunakan kembali dan dipanggil dari mana saja.
Mengapa Fungsi Pembantu Lebih Baik daripada Salin-Tempel
Satu fungsi clean_text memastikan setiap dokumen mendapatkan perlakuan yang sama persis. Perbaiki bug satu kali, dan seluruh proyek akan memperoleh manfaatnya.
Mulai dengan Signature
Tentukan bentuknya terlebih dahulu. Fungsi ini menerima teks mentah dan mengembalikan daftar tokens yang bersih, yaitu masukan standar untuk langkah-langkah berikutnya.
def clean_text(text):
passLangkah Satu: Huruf Kecil
Mulailah dengan mengubah semuanya menjadi huruf kecil. Dengan begitu, The dan the akan dianggap sama dan kosakata Anda tidak menjadi dua kali lipat.
text = text.lower()Langkah Dua: Hapus Simbol
Berikutnya, hapus tanda baca dan simbol yang terselip dengan regex singkat agar tanda di bagian akhir tidak menempel pada kata-kata Anda.
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)Langkah Tiga: Tokenisasi
Pisahkan string yang sudah dibersihkan menjadi kata-kata. split biasa bekerja dengan baik di sini karena tanda baca yang mengganggu sudah dihapus.
tokens = text.split()Langkah Empat: Hapus Stopword
Saring kata-kata noise menggunakan set stops Anda. Buat set tersebut satu kali di luar fungsi agar tidak dibuat ulang setiap kali fungsi dipanggil.
tokens = [t for t in tokens if t not in stops]Gabungkan Semuanya
Susun langkah-langkah tersebut secara berurutan dan kembalikan hasilnya. pipeline ringkas ini mengubah string mentah apa pun menjadi token yang bersih.
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]Coba Jalankan
Panggil fungsi tersebut pada kalimat yang berantakan dan lihat gangguannya menghilang. Hasilnya adalah daftar rapi yang siap digunakan pada langkah berikutnya dalam NLP.
print(clean_text("The Cats, dogs! and 2 birds."))Buat Lebih Fleksibel
Tambahkan penanda agar pemanggil dapat mempertahankan stopword saat diperlukan. Parameter opsional membuat satu fungsi pembantu dapat melayani banyak tugas.
def clean_text(text, drop_stops=True):
...Terapkan pada Skala Besar
Karena berupa fungsi, Anda dapat memetakannya ke seluruh set data dalam satu baris, sehingga setiap dokumen dibersihkan secara konsisten.
cleaned = [clean_text(doc) for doc in documents]Pemeriksaan Singkat
Urutan menjadi penting ketika Anda merangkai langkah-langkah pembersihan.
Ringkasan
Anda telah membuat fungsi pembantu clean_text yang dapat digunakan kembali: ubah menjadi huruf kecil, hapus simbol, lakukan tokenisasi, lalu hapus stopword. Satu fungsi, hasil yang konsisten di mana pun.
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang” gratis?
Ya — teks lengkap “Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang”?
Membungkus langkah-langkah Anda ke dalam satu pembantu Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Apa Itu Stopword?
- Menyaring Stopword dengan NLTK
- Menghapus Tanda Baca dan Simbol
- Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang