Gerçekte Belirteç Nedir

Belirteç, kodunuzun üzerinde çalıştığı en küçük metin birimidir. Herhangi bir analizden önce bir cümleyi bu küçük parçalara ayırırsınız. 🧩

Çoğu zaman belirteç yalnızca bir sözcüktür. I love cats cümlesi üç belirtece dönüşür: I, love ve cats.

Noktalama işareti kendi başına bir belirteç olabilir. Hi, there! ifadesini ayırdığınızda Hi, virgül, there ve ünlem işareti ayrı parçalar olarak elde edilir.

Bilgisayarlar bir cümleyi tek bir bütün olarak okuyamaz. Belirteçlere ayırma, karmaşık metni programınızın sayabileceği ve karşılaştırabileceği düzenli bir listeye dönüştürür.

Python'da belirteçler genellikle dizelerden oluşan bir liste içinde tutulur. Bu liste, oluşturacağınız neredeyse tüm doğal dil işleme görevlerinin başlangıç noktasıdır.

Belirteçler, doğal dil işlemenin her şeyi ölçtüğü birimdir. Sözcük sayımları, sözcük dağarcıkları ve özelliklerin tümü bu tek fikirle başlar.

Belirteç her zaman tam bir sözcük değildir. Modern modeller genellikle alt sözcükler kullanır; nadir sözcükleri işleyebilmek için unhappiness sözcüğünü un, happi ve ness parçalarına ayırır.

don't için ne yapılır? Akıllı bir belirteçleyici bunu do ve n't parçalarına ayırabilir; çünkü bu işlem gizli not sözcüğünü ortaya çıkarır.

Belirteçler yalnızca harflerden oluşmaz. $5 gibi fiyatlar veya 2024 gibi yıllar da belirteçtir ve bunları nasıl ayırdığınız gerçekten önemlidir.

Metni belirteçlere ayırma işlemine belirteçlere ayırma denir. Bu, yazacağınız neredeyse her doğal dil işleme işlem hattındaki ilk gerçek adımdır.

Belirteçlere ayırmanın tek bir doğru yolu yoktur. Seçtiğiniz kurallar, sonraki tüm sayımları ve sonuçları şekillendirir; bu nedenle üzerinde gerçekten düşünülmelidir.

Temel fikrin aklınızda kaldığından emin olalım.

Belirtecin metnin temel birimi olduğunu öğrendiniz: bir sözcük, bir simge veya bir alt sözcük olabilir. Belirteçlere ayırma, metni işlenecek düzenli bir listeye dönüştürür.