Apa Itu Stopword?

Beberapa kata muncul di mana-mana, tetapi hampir tidak memberi tahu apa pun tentang suatu topik. Kita menyebutnya kata henti, dan belajar mengenalinya adalah keterampilan pembersihan pertama Anda.

Bacalah baris ini: the cat sat on the mat. Sinyal sebenarnya adalah cat, sat, dan mat. Kata-kata seperti the dan on hanyalah perekat yang menyatukan kalimat.

Kata henti sangat umum sehingga muncul di hampir setiap dokumen. Hal itu membuatnya tidak berguna untuk membedakan satu dokumen dari dokumen lainnya.

Kata henti bahasa Inggris yang umum mencakup the, a, is, and, of, to, in, dan it. Kata ganti dan kata depan sering muncul di sini.

Anggap NLP seperti mendengarkan suara di ruangan yang bising. Menghapus kata henti mengurangi kebisingan sehingga kata-kata bermakna terdengar dengan jelas.

Anda dapat memulai dengan sebuah kumpulan kecil buatan sendiri. Set Python menyediakan pemeriksaan keanggotaan yang cepat, tepat seperti yang diperlukan untuk penyaringan.

Memeriksa apakah sebuah kata ada di dalam set hampir seketika, bahkan jika terdapat ribuan kata henti. Daftar akan menjadi lebih lambat saat ukurannya bertambah.

Tidak ada satu daftar resmi. Setiap pustaka dan proyek memiliki daftar kata henti sendiri, sehingga isinya sedikit berbeda.

Kata henti tidak selalu merupakan sampah. Untuk tugas seperti analisis sentimen atau gaya penulis, kata-kata pendek seperti not dan very membawa makna nyata yang sebaiknya dipertahankan.

Data Anda sendiri mungkin memiliki gangguan tersendiri. Dalam teks hukum, kata-kata seperti hereby atau shall berfungsi sebagai kata henti domain yang juga layak dihapus.

Menghapus kata henti adalah salah satu langkah dalam kebiasaan pembersihan yang lebih besar: buang hal yang tidak menambah sinyal, dan pertahankan hal yang membantu model mengambil keputusan.

Kerja bagus. Kata henti adalah kata yang sangat umum dan hanya menambah sedikit sinyal, sehingga sering kita saring, sambil tetap mempertahankan kata-kata yang penting bagi tugas tersebut.