NLP Academy · Pelajaran

Stemming: Memotong kepada Akar

Petakan running dan runs kepada run

Pelajaran 3 daripada 413 langkah

Stemming: Memotong kepada Akar ialah pelajaran NLP Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran NLP Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.

Satu Perkataan, Banyak Bentuk

Kata kerja run muncul sebagai running, runs dan ran. Bagi anda, semuanya berkongsi makna, tetapi teks mentah mengira setiap satunya secara berasingan lalu memecahkan isyarat. 🌱

Memperkenalkan Stemming

Stemming memotong akhiran perkataan untuk mendapatkan akar kasar yang dipanggil stem. Matlamatnya ialah menggabungkan bentuk yang berkaitan menjadi satu token yang sama.

Peraturan, Bukan Kamus

Stemmer mengikut peraturan akhiran yang mudah dan bukannya mencari perkataan dalam kamus. Ia membuang akhiran seperti ing, ed dan s, jadi kaedah ini pantas tetapi agak kasar.

Porter Stemmer

NLTK disertakan dengan PorterStemmer klasik. Anda mencipta satu tika, kemudian memanggil kaedah stem pada mana-mana perkataan yang mahu anda ringkaskan.

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('running'))

Bentuk Bergabung Bersama

Masukkan beberapa bentuk kata kerja yang sama dan semuanya diringkaskan menjadi stem yang sama. Kini kiraan anda akhirnya boleh dijumlahkan.

for w in ['running', 'runs', 'ran']:
    print(ps.stem(w))

Stem Bukan Perkataan Sebenar

Stemming bersifat kasar. Perkataan studies menjadi studi, yang bukan perkataan sebenar, tetapi masih sepadan dengan study dan studied sebagai satu stem.

print(ps.stem('studies'))

Berwaspada terhadap Over-Stemming

Kadangkala stemmer memotong terlalu banyak lalu menggabungkan perkataan yang tidak berkaitan. Over-stemming ini boleh mengaburkan makna, jadi sentiasa semak kewajaran hasilnya pada teks anda.

print(ps.stem('universal'))
print(ps.stem('university'))

Stemkan Senarai Token

Dalam amalan, anda melakukan stem pada setiap token dalam dokumen. Pemahaman menerapkan stemmer pada seluruh senarai dalam satu baris yang kemas.

words = ['cats', 'caring', 'cared']
print([ps.stem(w) for w in words])

Stemmer Lain Juga Wujud

Porter ialah pilihan lalai, tetapi NLTK turut menawarkan SnowballStemmer yang lebih tangkas, menyokong banyak bahasa dan membaiki beberapa kelemahan Porter.

from nltk.stem import SnowballStemmer
sb = SnowballStemmer('english')
print(sb.stem('happily'))

Huruf Kecil Dahulu

Stemmer menjangkakan input dalam huruf kecil. Seragamkan huruf besar-kecil sebelum stemming, atau Running dan running mungkin sekali lagi dianggap sebagai dua token yang berbeza.

print(ps.stem('Running'.lower()))

Bila Patut Menggunakannya

Stemming mengorbankan ketepatan demi kelajuan. Kaedah ini amat berguna dalam carian dan saluran pemprosesan besar apabila padanan kasar tetapi pantas lebih baik daripada analisis yang lambat dan tepat. ⚡

Semakan Ringkas

Mari kita tetapkan cara stemming berfungsi.

Rumusan

Anda belajar bahawa stemming memotong akhiran menggunakan peraturan mudah untuk menggabungkan bentuk perkataan menjadi satu stem. Kaedah ini pantas dan kasar, serta kadangkala menghasilkan bentuk yang bukan perkataan. Syabas! 🎉

Percuma untuk bermula

Pelajari Python dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus
30
Pelajaran
120

Soalan Lazim

Adakah pelajaran “Stemming: Memotong kepada Akar” percuma?

Ya — sebanyak 3 pelajaran dalam laluan pembelajaran NLP Academy, termasuk “Stemming: Memotong kepada Akar”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus NLP Academy merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Stemming: Memotong kepada Akar”?

Petakan running dan runs kepada run Anda berlatih NLP Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan NLP Academy?

Tiada pengalaman terdahulu diperlukan. Pembelajaran NLP Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Stemming: Memotong kepada Akar” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran NLP Academy ini?

Ya. Setiap pelajaran NLP Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

  1. Mengapa Huruf Besar dan Jarak Penting
  2. Menukar kepada Huruf Kecil dan Membuang Ruang Kosong
  3. Stemming: Memotong kepada Akar
  4. Lemmatization: Bentuk Dasar yang Lebih Bijak
← Kembali ke NLP Academy