Menghapus Tanda Baca dan Simbol
Membersihkan karakter yang membingungkan model
Menghapus Tanda Baca dan Simbol adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Tanda Baca Juga Merupakan Noise
Setelah stopword, gangguan berikutnya adalah simbol. Koma, tanda dolar, dan emoji dapat membingungkan model, jadi kita sering menghapus punctuation.
Mengapa Ini Penting
Tanpa pembersihan, model Anda melihat cat, dan cat sebagai dua token yang berbeda. Koma di bagian akhir memecah satu kata menjadi dua fitur.
Python Mengenali Tanda-tandanya
Modul string menyediakan semua tanda umum dalam satu konstanta bernama punctuation, sehingga Anda tidak perlu mengetikkannya satu per satu.
import string
print(string.punctuation)Trik translate
Cara tercepat untuk menghapus karakter adalah menggunakan str.translate dengan tabel yang memetakan setiap tanda menjadi ketiadaan.
table = str.maketrans("", "", string.punctuation)
clean = "hello, world!".translate(table)
print(clean)Pembersihan Per Token
Anda juga dapat menghapus tanda satu per satu untuk setiap token. Terapkan translate di dalam comprehension, lalu buang token yang menjadi kosong.
clean = [t.translate(table) for t in tokens]
clean = [t for t in clean if t]Regex untuk Simbol
Memerlukan kendali yang lebih besar daripada daftar tetap? regex dapat menghapus apa pun yang bukan huruf, angka, atau spasi.
import re
clean = re.sub(r"[^a-zA-Z0-9 ]", "", text)Waspadai Tanda yang Berguna
Beberapa simbol memiliki makna. Menghapus setiap titik mengubah u.s.a menjadi usa, dan itu mungkin bukan hasil yang Anda inginkan untuk tugas Anda.
Angka Merupakan Pilihan
Digit bukanlah tanda baca, tetapi sering kali merupakan noise. Tentukan dengan sengaja apakah akan mempertahankan atau menghapus angka dari data Anda.
no_digits = re.sub(r"\d+", "", text)Perhatikan Simbol Unicode
Set tanda baca ASCII tidak mencakup tanda kutip melengkung dan emoji. Regex yang mendukung Unicode dapat menangkap simbol yang tertinggal dari daftar tetap.
clean = re.sub(r"[^\w\s]", "", text)Padatkan Spasi Berlebih
Menghapus tanda dapat meninggalkan celah dan spasi ganda. Pemadatan whitespace secara singkat akan merapikan hasilnya menjadi kata-kata yang bersih.
clean = re.sub(r"\s+", " ", clean).strip()Urutan Operasi
Urutan sangat penting. Hapus tanda baca sebelum Anda memisahkan atau membandingkan teks, agar tanda di bagian akhir tidak menyelinap ke dalam tokens akhir Anda.
Pemeriksaan Singkat
Pilih cara paling bersih untuk menghapus tanda baca dari sebuah string.
Ringkasan
Sekarang Anda dapat menghapus punctuation dengan translate atau regex, menangani Unicode dan angka secara sengaja, serta memadatkan spasi yang tersisa agar token tetap bersih.
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Menghapus Tanda Baca dan Simbol” gratis?
Ya — teks lengkap “Menghapus Tanda Baca dan Simbol” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Menghapus Tanda Baca dan Simbol”?
Membersihkan karakter yang membingungkan model Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Menghapus Tanda Baca dan Simbol” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Apa Itu Stopword?
- Menyaring Stopword dengan NLTK
- Menghapus Tanda Baca dan Simbol
- Membangun Fungsi Pembersih Teks yang Dapat Digunakan Ulang