Melampaui Bag-of-Words

Bag-of-words dan TF-IDF memberi Anda model awal yang kuat. Namun, pada suatu titik skornya berhenti meningkat, dan Anda memerlukan fitur yang lebih kaya untuk melampauinya.

Jumlah kemunculan kata mengabaikan segala hal tentang dokumen selain kata-kata yang muncul. Nada, panjang, dan struktur semuanya membawa sinyal yang dibuang oleh jumlah kemunculan murni.

Panjang sebuah teks dapat memprediksi labelnya. Spam sering kali pendek, sementara ulasan terperinci biasanya panjang, sehingga panjang menjadi fitur yang berguna.

Banyak tanda seru atau tanda tanya dapat mengisyaratkan emosi atau urgensi. Menghitung tanda baca mengubah petunjuk tersembunyi itu menjadi angka.

SHOUTING dengan huruf kapital semua sering menandakan spam atau kemarahan. Rasio huruf kapital adalah fitur kecil yang ternyata sangat kuat.

Tingkat kesulitan membaca suatu teks dapat membedakan pembaca dan gaya penulisan. Skor keterbacaan merangkum kompleksitas kalimat dan kata menjadi satu angka praktis.

Penulis, cap waktu, dan sumber sering berada tepat di samping teks Anda. Metadata ini dapat memprediksi label tanpa membaca satu kata pun.

Jumlah kata unik dibagi jumlah seluruh kata mengukur seberapa beragam sebuah teks. Tulisan yang repetitif mendapat skor rendah, dan rasio keragaman itu dapat membantu model Anda.

Setiap gagasan di sini pada akhirnya menjadi angka yang dapat diberikan kepada model. Fitur yang baik cukup mengubah intuisi tentang teks menjadi nilai yang dapat diukur.

Fitur terbaik berasal dari pemahaman terhadap masalah Anda. Jika Anda memahami hal yang membedakan berbagai kelas, Anda dapat merancang fitur yang menangkapnya. 💡

Mulailah dengan bag-of-words, lalu tambahkan beberapa fitur yang dibuat secara manual. Ukur masing-masing fitur agar Anda hanya mempertahankan penambahan yang benar-benar membantu.

Hitungan tidak menangkap nada, panjang, dan struktur. Fitur yang dibuat secara manual, seperti panjang, tanda baca, dan keterbacaan, mengubah petunjuk tersebut menjadi angka yang meningkatkan model Anda. ✅