Mengapa Kapitalisasi dan Spasi Penting

Bagi komputer, dua string hanya cocok jika setiap karakternya identik. Jadi Apple dan apple tampak seperti dua kata yang sepenuhnya berbeda, meskipun Anda membacanya sama. 🤔

Bahasa manusia itu tidak rapi. Gagasan yang sama dapat muncul sebagai Run, run, dan RUN, tetapi teks mentah memperlakukan masing-masing sebagai token terpisah dengan jumlah kemunculannya sendiri.

Bandingkan dua ejaan dari kata yang sama dan Python menyatakan keduanya berbeda. Ketidaksesuaian kecil inilah yang akan diperbaiki oleh normalisasi.

Spasi kosong tersembunyi sama liciknya. Spasi di akhir mengubah hello menjadi string yang tidak lagi sama dengan hello, sehingga jumlah kemunculannya menjadi keliru.

Tab dan baris baru juga dihitung sebagai karakter. Kata yang diapit tab atau baris baru secara teknis berbeda dari word biasa yang Anda harapkan.

Bayangkan Anda menghitung kata dalam sebuah ulasan. Jika Good muncul tiga kali dan good dua kali, Anda mendapatkan dua entri dengan jumlah dua dan tiga, bukan satu jumlah yang benar, yaitu five.

Pencarian untuk paris seharusnya menemukan Paris, PARIS, dan paris. Tanpa normalisasi, pengguna kehilangan hasil hanya karena ketidakcocokan huruf besar-kecil. 😕

Normalisasi berarti mengubah teks menjadi satu bentuk yang konsisten, sehingga gagasan yang sama selalu cocok dengan dirinya sendiri. Inilah langkah sederhana yang membuat semua proses berikutnya berjalan.

Satu pemanggilan dapat menghapus perbedaan huruf besar-kecil seketika. Di sini lower mengubah kedua kata menjadi bentuk yang sama, dan akhirnya keduanya cocok.

Spasi yang terselip juga mudah diatasi. Method strip memangkas bagian tepi, sehingga nilainya sesuai dengan token bersih yang Anda inginkan.

Setiap langkah pembersihan yang akan Anda pelajari memiliki satu tujuan: menggabungkan berbagai bentuk kata menjadi satu bentuk kanonik yang dapat diandalkan oleh model Anda. ✨

Anda telah melihat bagaimana perbedaan kecil pada huruf besar-kecil dan spasi menimbulkan ketidakcocokan palsu serta memisahkan jumlah kata. Normalisasi mengubah teks menjadi satu bentuk yang konsisten. Awal yang bagus! 🎉