Belirteçlere Ayırma ve Normalleştirme

Metin ön işleme, DDİ'de çok önemli bir adımdır. Ham metni analiz için yapılandırılmış bir biçime dönüştürmeyi içerir. Temel ön işleme adımları arasında belirteçlere ayırma ve normalleştirme bulunur.

Belirteçlere Ayırma Nedir?

Belirteçlere ayırma, metni belirteç adı verilen daha küçük birimlere bölme işlemidir. Belirteçler sözcükler, cümleler veya karakterler olabilir.

Örneğin:

Metin: "NLP is amazing!"

Belirteçler: ["NLP", "is", "amazing", "!"]

Python'da Belirteçlere Ayırma Örneği

NLTK kitaplığını kullanarak metni sözcüklere veya cümlelere ayırabiliriz:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalleştirme Nedir?

Normalleştirme, metni temizlemeyi ve standartlaştırmayı içerir. Yaygın normalleştirme teknikleri şunlardır:

• Küçük Harfe Dönüştürme: Tüm metni küçük harfe dönüştürme.
• Noktalama İşaretlerini Kaldırma: Noktalama işaretlerini silme.
• Kök İndirgeme: Sözcükleri kök biçimlerine indirme (örneğin, "koşuyor" → "koş").
• Temel Biçime İndirgeme: Bağlamı kullanarak sözcükleri temel biçimlerine indirme (örneğin, "daha iyi" → "iyi").

Küçük Harfe Dönüştürme ve Noktalama İşaretlerini Kaldırma

Metni küçük harfe dönüştürerek ve noktalama işaretlerini kaldırarak nasıl normalleştirebileceğiniz aşağıda gösterilmiştir:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Kök İndirgeme ve Temel Biçime İndirgeme

Kök İndirgeme: Son ekleri keserek sözcükleri köklerine indirger. Kurallara dayanır ve her zaman geçerli sözcükler üretmeyebilir.

Temel Biçime İndirgeme: Sözcükleri anlamlı temel biçimlerine indirmek için bir söz varlığı ve dil bilgisi kuralları kullanır.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Durak Sözcükleri Kaldırma

Durak sözcükler, genellikle önemli bir anlam taşımayan yaygın sözcüklerdir (örneğin, "ve", "bir", "bu"). Bunları kaldırmak metin analizini basitleştirebilir:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Metin Ön İşlemedeki Zorluklar

Metin ön işleme şu nedenlerle zor olabilir:

• Belirsizlik: "Baş" gibi sözcüklerin birden çok anlamı olabilir.
• Bağlam: Temel biçime indirgeme, sözcüğün bağlamının anlaşılmasını gerektirir.
• Dil Farklılıkları: Farklı dilleri ve lehçeleri ele alma.

Özet ve Sonraki Adımlar

Bu derste:

• Belirteçlere ayırma ve normalleştirme hakkında bilgi edindik.
• Kök bulma, sözlük biçimine indirgeme ve durak sözcükleri kaldırma gibi teknikleri inceledik.
• Python ile metin ön işleme pratiği yaptık.

Sonraki adımda, N-Gram modellerini kullanarak metin örüntülerini analiz edeceğiz.