Stopword Nedir

Bazı kelimeler her yerde karşımıza çıkar, ancak konu hakkında neredeyse hiçbir şey söylemez. Bunlara etkisiz kelimeler denir; onları fark etmeyi öğrenmek ilk temizleme becerinizdir.

Şu satırı okuyun: kedi hasırın üzerinde oturdu. Asıl anlamlı bilgiler kedi, hasır ve oturdu kelimeleridir. “üzerinde” gibi kelimeler yalnızca cümleyi bir arada tutan bağlayıcılardır.

Etkisiz kelimeler o kadar yaygındır ki neredeyse her belgede bulunurlar. Bu durum onları bir belgeyi diğerinden ayırt etmek için işe yaramaz hâle getirir.

Yaygın İngilizce etkisiz kelimeler arasında the, a, is, and, of, to, in ve it bulunur. Zamirler ve edatlar burada sıkça karşınıza çıkar.

NLP'yi gürültülü bir odada bir sesi dinlemek gibi düşünün. Etkisiz kelimeleri kaldırmak gürültüyü azaltır ve anlamlı kelimelerin açıkça duyulmasını sağlar.

Kendi küçük kümenizi oluşturarak başlayabilirsiniz. Python kümesi hızlı üyelik denetimleri sağlar; filtrelemenin ihtiyaç duyduğu şey tam olarak budur.

Bir kelimenin bir kümede bulunup bulunmadığını denetlemek, binlerce etkisiz kelime olsa bile neredeyse anında gerçekleşir. Liste büyüdükçe yavaşlar.

Tek bir resmî liste yoktur. Her kitaplık ve proje kendi etkisiz kelime listesini tutar; bu nedenle listeler birbirinden biraz farklıdır.

Etkisiz kelimeler her zaman gereksiz değildir. Duygu analizi veya yazar üslubu gibi görevlerde “değil” ve “çok” gibi küçük kelimeler gerçek anlam taşır ve korunmalıdır.

Kendi verilerinizin kendine özgü gürültüsü olabilir. Hukuki metinlerde “işbu” veya “-ecektir” gibi kelimeler de kaldırılmaya değer alana özgü etkisiz kelimeler olarak işlev görebilir.

Etkisiz kelimeleri kaldırmak daha geniş bir temizleme alışkanlığının tek adımıdır: anlamlı bilgi katmayanları atın, modelinizin karar vermesine yardımcı olanları koruyun.

Etkisiz kelime fikrinin aklınızda kaldığından emin olalım.

Güzel çalıştınız. Etkisiz kelimeler çok yaygın olup az miktarda anlamlı bilgi taşır; bu nedenle çoğu zaman onları filtreler, ancak görev için önemli olanları koruruz.