Memisahkan Berdasarkan Spasi dan Batasannya

Cara termudah untuk melakukan tokenisasi adalah memisahkan teks berdasarkan spasi. Metode split() Python melakukan tepat hal itu tanpa persiapan apa pun. ✂️

Jika dipanggil tanpa argumen, split() memecah teks pada rangkaian whitespace apa pun: spasi, tab, atau baris baru. Jarak kosong diabaikan secara otomatis.

Untuk kalimat yang bersih dan sederhana, pemisahan berdasarkan whitespace berlangsung cepat dan cukup baik. Ini merupakan langkah awal yang tepat saat Anda mempelajari dasar-dasarnya.

Inilah masalah pertama: tanda baca melekat pada kata. Memisahkan cats! menghasilkan cats! sebagai satu token, bukan kata bersih cats yang Anda inginkan.

Sekarang cats dan cats! dihitung sebagai dua token yang berbeda. Jumlah kata Anda terpecah, dan hal itu secara diam-diam merusak semua pengukuran berikutnya.

Pemisahan berdasarkan whitespace mempertahankan don't sebagai satu bagian. Cara ini tidak dapat melihat not yang tersembunyi di dalamnya, sehingga negasi hilang sepenuhnya.

Kata seperti state-of-the-art tetap melekat sebagai satu token. Terkadang itu memang benar, tetapi split() tidak memberi Anda choice dalam hal ini.

Banyak bahasa, seperti bahasa Mandarin, ditulis tanpa spasi di antara kata-kata. Dalam kasus ini, pemisahan berdasarkan whitespace fails sepenuhnya dan menghasilkan satu token raksasa.

Pemisahan saja tetap membedakan Cats dan cats karena huruf kapitalnya. Pemisahan berdasarkan whitespace sama sekali tidak melakukan normalization untuk Anda.

Semua masalah ini terakumulasi. Token yang kotor menghasilkan hitungan yang salah, dan hitungan yang salah menghasilkan model yang lebih lemah dalam pipeline Anda.

Pemisahan berdasarkan whitespace merupakan pengajar yang baik, tetapi bukan solusi akhir yang baik. Proyek nyata menggunakan tokenizer yang tepat untuk menangani kasus-kasus khusus ini.

split() berdasarkan whitespace memang sederhana dan cepat, tetapi membuat tanda baca menempel, melewatkan kontraksi, dan gagal jika tidak ada spasi. Bagus untuk belajar, tetapi belum cukup untuk digunakan dalam produk.