التجزئة والتطبيع

تُعد المعالجة المسبقة للنصوص خطوةً أساسية في NLP. وهي تتضمن تحويل النص الخام إلى تنسيق منظم لتحليله. وتشمل خطوات المعالجة المسبقة الأساسية التجزئة والتطبيع.

ما التجزئة؟

التجزئة هي عملية تقسيم النص إلى وحدات أصغر تُسمى الرموز. وقد تكون الرموز كلمات أو جملًا أو أحرفًا.

على سبيل المثال:

النص: "NLP is amazing!"

الرموز: ["NLP", "is", "amazing", "!"]

مثال على التجزئة في Python

باستخدام مكتبة NLTK، يمكننا تجزئة النص إلى كلمات أو جمل:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

ما التطبيع؟

يتضمن التطبيع تنظيف النص وتوحيد تنسيقه. وتشمل تقنيات التطبيع الشائعة ما يلي:

• تحويل الأحرف إلى أحرف صغيرة: تحويل النص بأكمله إلى أحرف صغيرة.
• إزالة علامات الترقيم: حذف علامات الترقيم.
• التجذير: اختزال الكلمات إلى صيغتها الجذرية (مثل: "running" → "run").
• الإرجاع إلى الصيغة الأساسية: اختزال الكلمات إلى صيغتها الأساسية ذات المعنى باستخدام السياق (مثل: "better" → "good").

تحويل الأحرف إلى أحرف صغيرة وإزالة علامات الترقيم

إليك كيفية تطبيع النص بتحويله إلى أحرف صغيرة وإزالة علامات الترقيم:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

التجذير والإرجاع إلى الصيغة الأساسية

التجذير: يختزل الكلمات إلى جذورها بحذف اللواحق. ويعتمد على القواعد، وقد لا ينتج دائمًا كلمات صحيحة.

الإرجاع إلى الصيغة الأساسية: يستخدم مفردات اللغة وقواعدها النحوية لاختزال الكلمات إلى صيغتها الأساسية ذات المعنى.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

إزالة الكلمات الشائعة

الكلمات الشائعة هي كلمات متكررة (مثل: "is" و"and" و"the") لا تحمل غالبًا معنى مهمًا. ويمكن أن تؤدي إزالتها إلى تبسيط تحليل النص:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

التحديات في المعالجة المسبقة للنصوص

قد تكون المعالجة المسبقة للنصوص صعبة بسبب:

• الغموض: يمكن أن تحمل كلمات مثل "lead" معاني متعددة.
• السياق: يتطلب الإرجاع إلى الصيغة الأساسية فهم سياق الكلمة.
• التباين اللغوي: التعامل مع لغات ولهجات مختلفة.

الملخص والخطوات التالية

في هذا الدرس، قمنا بما يلي:

• تعرّفنا على التجزئة والتطبيع.
• استكشفنا تقنيات مثل التجذير، والإرجاع إلى الصيغة الأساسية، وإزالة الكلمات الشائعة.
• تدرّبنا على المعالجة المسبقة للنصوص باستخدام Python.

بعد ذلك، سنحلل أنماط النصوص باستخدام نماذج N-Gram.