Menggabungkan Berbagai Jenis Fitur

TF-IDF menangkap kata, sedangkan angka yang Anda buat secara manual menangkap gaya. Model terbaik sering kali menggabungkan beberapa jenis fitur menjadi satu input.

Bayangkan vektor TF-IDF sebuah ulasan ditambah panjang dan penilaian bintangnya. Menumpuk keduanya memberi model sinyal kata dan numerik sekaligus.

TF-IDF menghasilkan matriks renggang, sedangkan fitur khusus Anda berupa larik padat berukuran kecil. Anda harus menggabungkan keduanya pada baris yang sama.

Kami merekatkan fitur sebagai kolom baru untuk dokumen yang sama, bukan sebagai baris baru. Penggabungan horizontal ini disebut konkatenasi.

SciPy menyediakan hstack untuk menempatkan matriks berdampingan secara efisien. Cara ini mempertahankan semuanya tetap renggang, sehingga penggunaan memori tetap terkendali.

ColumnTransformer dari scikit-learn menerapkan langkah yang berbeda pada kolom yang berbeda. Inilah cara yang rapi untuk mengarahkan teks dan angka melalui satu pipeline.

Anda memberikan kepada ColumnTransformer daftar transformer bernama serta kolom yang ditangani masing-masing. Komponen ini membuat satu matriks fitur untuk Anda.

Ketika beberapa transformer membaca input yang sama, FeatureUnion menjalankannya secara paralel lalu menggabungkan hasilnya. Komponen ini dirancang untuk menggabungkan pengekstrak fitur.

Hitungan kata mentah dan panjang dalam rentang 0 hingga 1000 berada pada rentang yang sangat berbeda. Mencampurnya sering memerlukan penskalaan agar tidak ada fitur yang mendominasi.

Menambahkan jenis fitur harus menjadi eksperimen yang terukur. Bandingkan skor validasi sebelum dan sesudah untuk memastikan gabungan tersebut benar-benar membantu.

Memasukkan setiap fitur dapat menambah derau dan memperlambat pelatihan. Pilih campuran kecil yang tepat, bukan kumpulan fitur raksasa. 🧹

Model yang kuat menggabungkan fitur teks dan numerik dengan mengonkatenasi kolom. Gunakan hstack, ColumnTransformer, atau FeatureUnion, lalu lakukan penskalaan sebelum mencampurkannya. ✅