Belirteçlere Ayırma ve Normalleştirme

Metin ön işleme, NLP'de çok önemli bir adımdır. Ham metni analiz için yapılandırılmış bir biçime dönüştürmeyi içerir. Temel ön işleme adımları arasında belirteçlere ayırma ve normalleştirme bulunur.

Belirteçlere Ayırma Nedir?

Belirteçlere ayırma, metni belirteç adı verilen daha küçük birimlere bölme işlemidir. Belirteçler sözcükler, cümleler veya karakterler olabilir.

Örneğin:

Metin: "NLP is amazing!"

Belirteçler: ["NLP", "is", "amazing", "!"]

Python'da Belirteçlere Ayırma Örneği

NLTK kütüphanesini kullanarak metni sözcüklere veya cümlelere ayırabiliriz:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalleştirme Nedir?

Normalleştirme, metni temizlemeyi ve standartlaştırmayı içerir. Yaygın normalleştirme teknikleri şunlardır:

• Küçük Harfe Dönüştürme: Tüm metni küçük harfe dönüştürme.
• Noktalama İşaretlerini Kaldırma: Noktalama işaretlerini silme.
• Kök Biçime İndirgeme: Sözcükleri kök biçimlerine indirgeme (ör. "running" → "run").
• Sözcük Köküne İndirgeme: Bağlamı kullanarak sözcükleri temel biçimlerine indirgeme (ör. "better" → "good").

Küçük Harfe Dönüştürme ve Noktalama İşaretlerini Kaldırma

Metni küçük harfe dönüştürüp noktalama işaretlerini kaldırarak nasıl normalleştireceğiniz aşağıda açıklanmıştır:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Kök Biçime ve Sözcük Köküne İndirgeme

Kök Biçime İndirgeme: Sonekleri keserek sözcükleri köklerine indirger. Kurallara dayanır ve her zaman geçerli sözcükler üretmeyebilir.

Sözcük Köküne İndirgeme: Sözcükleri anlamlı temel biçimlerine indirmek için bir sözlük ve dil bilgisi kuralları kullanır.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Durak Sözcükleri Kaldırma

Durak sözcükler, çoğu zaman önemli bir anlam taşımayan yaygın sözcüklerdir (ör. "is", "and", "the"). Bunları kaldırmak metin analizini basitleştirebilir:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Metin Ön İşlemedeki Zorluklar

Metin ön işleme şu nedenlerle zor olabilir:

• Belirsizlik: "lead" gibi sözcüklerin birden fazla anlamı olabilir.
• Bağlam: Sözcük köküne indirgeme, sözcüğün bağlamının anlaşılmasını gerektirir.
• Dil Farklılıkları: Farklı dilleri ve lehçeleri işleme.

Özet ve Sonraki Adımlar

Bu derste:

• Belirteçlere ayırma ve normalleştirme hakkında bilgi edindik.
• Kök biçime indirgeme, sözcük köküne indirgeme ve durak sözcükleri kaldırma gibi teknikleri inceledik.
• Python ile metin ön işleme uygulamaları yaptık.

Sonraki adımda N-Gram modellerini kullanarak metin örüntülerini analiz edeceğiz.