PricingLoginStart free
NLP Academy · Pelajaran

TF-IDF dengan scikit-learn

Mengubah korpus menjadi vektor hanya dalam beberapa baris

Pelajaran 3 dari 413 langkah

TF-IDF dengan scikit-learn adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.

Tidak Perlu Menulis Kode Secara Manual

Anda telah memahami matematikanya, jadi sekarang biarkan scikit-learn menangani bagian yang rumit. TfidfVectorizer mengubah dokumen mentah menjadi matriks berbobot hanya dalam beberapa baris.

Impor Vectorizer

Semuanya tersedia dalam modul feature_extraction.text. Impor TfidfVectorizer dan Anda siap mengubah daftar string teks apa pun menjadi vektor.

from sklearn.feature_extraction.text import TfidfVectorizer

Korpus Anda Berupa Daftar

Korpus hanyalah daftar string Python, satu string untuk setiap dokumen. Setiap entri berisi teks lengkap yang ingin Anda beri skor dan bandingkan.

corpus = [
    "the cat sat on the mat",
    "the dog chased the cat",
]

Fit dan Transformasi

Panggil fit_transform untuk mempelajari kosakata dan menghitung TF-IDF dalam satu langkah. Fungsi ini mengembalikan matriks fitur berbobot yang jarang.

vec = TfidfVectorizer()
X = vec.fit_transform(corpus)
print(X.shape)

Apa yang Dipelajari oleh fit

Langkah fit membangun kosakata dan nilai IDF dari korpus Anda. Setelah itu, vectorizer mengetahui setiap istilah dan tingkat kelangkaannya.

Periksa Kosakata

Anda dapat menampilkan daftar nama fitur yang telah dipelajari untuk melihat kolom-kolomnya. get_feature_names_out menampilkan setiap kata sesuai urutan kosakata. 🔎

print(vec.get_feature_names_out())

Keluaran Bersifat Jarang

Sebagian besar dokumen hanya menggunakan beberapa kata, sehingga matriks tersebut sebagian besar berisi nol. Secara bawaan, scikit-learn menyimpannya sebagai matriks jarang yang menghemat memori.

Lihat Angka Sebenarnya

Ubah satu baris menjadi larik padat agar bobotnya dapat dibaca. Kata pengisi yang mendekati nol dan kata topik akan terlihat jelas.

print(X.toarray()[0].round(3))

Sesuaikan dengan Parameter

Opsi praktis memungkinkan Anda segera membuang istilah yang jarang atau umum. Atur min_df dan stop_words untuk membersihkan kosakata saat Anda mengubah teks menjadi vektor.

vec = TfidfVectorizer(stop_words="english", min_df=2)

Gunakan Kembali pada Teks Baru

Lakukan fit sekali pada data pelatihan, lalu panggil transform pada dokumen baru. Teks baru akan dipetakan ke kosakata dan skala IDF yang sama persis.

new_docs = ["a new cat appeared"]
X_new = vec.transform(new_docs)

Siap untuk Model

Matriks berbobot ini dapat langsung digunakan oleh pengklasifikasi scikit-learn apa pun. Fitur TF-IDF merupakan tolok ukur awal yang kuat dan cepat untuk tugas teks nyata.

Pemeriksaan Singkat

Metode mana yang mempelajari kosakata sekaligus menghitung matriks TF-IDF?

Jawab di pelajaran interaktif

Rangkuman

Anda mengimpor TfidfVectorizer, melakukan fit pada korpus, memeriksa keluaran yang jarang, dan belajar menggunakannya kembali pada teks baru. Kini matematikanya cukup ditulis dalam satu baris. ✅

Gratis untuk memulai

Belajar Python dengan tutor AI — gratis

Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.

Kursus
30
Pelajaran
120
Mulai belajar gratisLihat kursus lengkapnya

Pertanyaan yang Sering Diajukan

Apakah pelajaran “TF-IDF dengan scikit-learn” gratis?

Ya — teks lengkap “TF-IDF dengan scikit-learn” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “TF-IDF dengan scikit-learn”?

Mengubah korpus menjadi vektor hanya dalam beberapa baris Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai NLP Academy?

Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “TF-IDF dengan scikit-learn” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?

Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. Masalah pada Hitungan Mentah
  2. Frekuensi Istilah dan Frekuensi Dokumen Terbalik
  3. TF-IDF dengan scikit-learn
  4. Menemukan Kata yang Paling Penting
← Kembali ke NLP Academy