Trik Tokenisasi Regex

Anda dapat melakukan tokenisasi teks dengan menjelaskan bentuk token, lalu membiarkan regex menemukan setiap bagian yang sesuai dengan definisi Anda.

Pola \w+ dengan findall mengambil setiap rangkaian karakter kata, sehingga menghasilkan daftar kata yang rapi dan mengabaikan spasi di antaranya.

Fungsi re.split memecah teks di setiap kemunculan pola. Memisahkan berdasarkan spasi mengubah kalimat menjadi daftar token kasar dengan cepat.

Dengan kelas karakter, re.split dapat memecah teks berdasarkan banyak pemisah sekaligus, seperti spasi, koma, dan titik koma dalam satu operasi.

Terkadang tanda baca penting. Pola seperti \w+|[^\w\s] menangkap kata dan simbol tunggal secara terpisah, sehingga tidak ada yang terhapus secara diam-diam.

Garis tegak berarti atau. Pola cat|dog cocok dengan salah satu kata, sehingga satu ekspresi reguler dapat menjelaskan beberapa bentuk token yang Anda perlukan.

Bilangan memerlukan aturan tersendiri. Pola \d+\.?\d* cocok dengan bilangan bulat dan desimal, sehingga harga dan jumlah tetap menjadi satu token.

Pemisahan naif merusak kata seperti do not dalam bentuk singkatnya. Pola token yang lebih cerdas dapat mempertahankan apostrof di dalam kata pada tempatnya.

Jangkar \b menandai batas kata, yaitu tepi antara kata dan karakter nonkata. Jangkar ini membantu Anda mengambil kata utuh tanpa mengambil kata di sebelahnya.

Pemecah token praktis sering menggabungkan aturan dengan alternasi: cocokkan URL, lalu bilangan, kemudian kata, dan terakhir simbol, sesuai urutan prioritas.

Jika Anda sering menggunakan kembali sebuah pola, re.compile mengubahnya menjadi objek yang dapat digunakan kembali. Kodenya lebih rapi dan berjalan lebih cepat pada banyak string.

Anda menggunakan findall, split, alternation, and compile untuk mengubah teks mentah menjadi token yang tepat sesuai kebutuhan. Ekspresi reguler memberi Anda kendali penuh. 🎯