Membuang Tanda Baca dan Simbol
Bersihkan aksara yang mengelirukan model
Membuang Tanda Baca dan Simbol ialah pelajaran NLP Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran NLP Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.
Tanda Baca Juga Noise
Selepas stopword, gangguan seterusnya ialah simbol. Koma, tanda dolar dan emoji boleh mengelirukan model, jadi kita sering membuang punctuation.
Mengapa Ia Penting
Tanpa pembersihan, model Anda melihat cat, dan cat sebagai dua token yang berbeza. Koma di hujung memecahkan satu perkataan menjadi two ciri.
Python Mengetahui Tanda Baca
Modul rentetan memberikan semua tanda baca biasa dalam satu pemalar bernama punctuation, jadi Anda tidak perlu menaipnya satu per satu.
import string
print(string.punctuation)Helah translate
Cara terpantas untuk memadam aksara ialah menggunakan str.translate dengan jadual yang memetakan setiap tanda kepada tiada apa-apa.
table = str.maketrans("", "", string.punctuation)
clean = "hello, world!".translate(table)
print(clean)Pembersihan Setiap Token
Anda juga boleh membuang tanda baca mengikut token. Gunakan translate dalam pemahaman, kemudian buang mana-mana token yang menjadi kosong.
clean = [t.translate(table) for t in tokens]
clean = [t for t in clean if t]Regex untuk Simbol
Perlukan kawalan yang lebih terperinci daripada senarai tetap? regex boleh memadam apa-apa yang bukan huruf, nombor atau ruang.
import re
clean = re.sub(r"[^a-zA-Z0-9 ]", "", text)Berhati-hati dengan Tanda yang Berguna
Sesetengah simbol membawa makna. Membuang semua titik menukar u.s.a kepada usa, dan itu mungkin bukan perkara yang Anda want untuk tugasan Anda.
Nombor ialah Pilihan
Digit bukan tanda baca, tetapi sering menjadi noise. Tentukan dengan sengaja sama ada hendak mengekalkan atau membuang numbers daripada data Anda.
no_digits = re.sub(r"\d+", "", text)Perhatikan Simbol Unicode
Set tanda baca ASCII tidak merangkumi tanda petikan melengkung dan emoji. Unicode-regex yang peka terhadap Unicode dapat menangkap simbol yang tertinggal daripada senarai tetap.
clean = re.sub(r"[^\w\s]", "", text)Gabungkan Ruang Tambahan
Membuang tanda baca boleh meninggalkan jurang dan ruang berganda. Pemadatan whitespace yang pantas mengemaskan hasilnya menjadi perkataan yang bersih.
clean = re.sub(r"\s+", " ", clean).strip()Turutan Operasi
Turutan adalah penting. Buang tanda baca sebelum Anda memecahkan atau membandingkan teks, supaya tanda di hujung tidak menyelinap ke dalam tokens akhir Anda.
Semakan Pantas
Pilih cara paling bersih untuk memadam tanda baca daripada rentetan.
Ringkasan
Kini Anda boleh membuang punctuation menggunakan translate atau regex, mengendalikan Unicode dan nombor dengan sengaja, serta memadatkan ruang yang tertinggal untuk mendapatkan token yang bersih.
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Soalan Lazim
Adakah pelajaran “Membuang Tanda Baca dan Simbol” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran NLP Academy, termasuk “Membuang Tanda Baca dan Simbol”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Membuang Tanda Baca dan Simbol”?
Bersihkan aksara yang mengelirukan model Anda berlatih NLP Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan NLP Academy?
Tiada pengalaman terdahulu diperlukan. Pembelajaran NLP Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.
Berapa lamakah pelajaran “Membuang Tanda Baca dan Simbol” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Apakah Perkataan Henti?
- Menapis Perkataan Henti dengan NLTK
- Membuang Tanda Baca dan Simbol
- Membina Fungsi Teks Bersih yang Boleh Diguna Semula