การตัดข้อความเป็นหน่วยย่อยและการทำให้เป็นมาตรฐาน

การเตรียมข้อมูลข้อความเป็นขั้นตอนสำคัญในการประมวลผลภาษาธรรมชาติ โดยเป็นการแปลงข้อความดิบให้อยู่ในรูปแบบที่มีโครงสร้างสำหรับการวิเคราะห์ ขั้นตอนสำคัญในการเตรียมข้อมูล ได้แก่ การตัดข้อความเป็นหน่วยย่อยและการทำให้เป็นมาตรฐาน

การตัดเป็นโทเค็นคืออะไร

การตัดเป็นโทเค็นคือกระบวนการแบ่งข้อความออกเป็นหน่วยย่อย ๆ ที่เรียกว่าโทเค็น โทเค็นอาจเป็นคำ ประโยค หรืออักขระ

ตัวอย่างเช่น:

ข้อความ: "NLP is amazing!"

โทเค็น: ["NLP", "is", "amazing", "!"]

ตัวอย่างการตัดเป็นโทเค็นในภาษาไพธอน

เราใช้ไลบรารี NLTK เพื่อตัดข้อความออกเป็นคำหรือประโยคได้:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

การทำให้เป็นมาตรฐานคืออะไร

การทำให้เป็นมาตรฐานประกอบด้วยการทำความสะอาดและปรับข้อความให้อยู่ในรูปแบบเดียวกัน เทคนิคทั่วไปในการทำให้เป็นมาตรฐาน ได้แก่:

• การเปลี่ยนเป็นตัวพิมพ์เล็ก: เปลี่ยนข้อความทั้งหมดให้เป็นตัวพิมพ์เล็ก
• การลบเครื่องหมายวรรคตอน: ลบเครื่องหมายวรรคตอนออก
• การตัดคำเหลือรากศัพท์: ลดคำให้เหลือรูปคำราก เช่น "กำลังวิ่ง" → "วิ่ง"
• การลดรูปคำเป็นคำฐาน: ลดคำให้เหลือรูปคำพื้นฐานที่เหมาะสมตามบริบท เช่น "ดีกว่า" → "ดี"

การเปลี่ยนเป็นตัวพิมพ์เล็กและการลบเครื่องหมายวรรคตอน

วิธีทำให้ข้อความเป็นมาตรฐานโดยเปลี่ยนเป็นตัวพิมพ์เล็กและลบเครื่องหมายวรรคตอนมีดังนี้:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

การตัดคำเหลือรากศัพท์และการลดรูปคำเป็นคำฐาน

การตัดคำเหลือรากศัพท์: ลดคำให้เหลือรากศัพท์ด้วยการตัดปัจจัยเติมท้ายออก วิธีนี้อาศัยกฎและอาจไม่ได้ผลเป็นคำที่ถูกต้องเสมอไป

การลดรูปคำเป็นคำฐาน: ใช้คลังคำศัพท์และกฎไวยากรณ์เพื่อลดคำให้เหลือรูปคำฐานที่มีความหมาย

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

การลบคำหยุด

คำหยุดคือคำที่พบได้ทั่วไป เช่น "เป็น" "และ" และ "นั้น" ซึ่งมักไม่ได้สื่อความหมายสำคัญ การลบคำเหล่านี้ช่วยให้การวิเคราะห์ข้อความง่ายขึ้น:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

ความท้าทายในการเตรียมข้อความล่วงหน้า

การเตรียมข้อความล่วงหน้าอาจเป็นเรื่องท้าทายเนื่องจาก:

• ความกำกวม: คำอย่าง "ตา" อาจมีหลายความหมาย
• บริบท: การลดรูปคำเป็นคำฐานจำเป็นต้องเข้าใจบริบทของคำนั้น
• ความหลากหลายของภาษา: ต้องรองรับภาษาและสำเนียงที่แตกต่างกัน

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้:

• เรียนรู้เกี่ยวกับการตัดข้อความเป็นหน่วยย่อยและการทำให้เป็นมาตรฐาน
• สำรวจเทคนิคต่าง ๆ เช่น การตัดรากคำ การทำคำให้เป็นรูปคำหลัก และการลบคำหยุด
• ฝึกเตรียมข้อมูลข้อความด้วยไพทอน

ถัดไป เราจะวิเคราะห์รูปแบบของข้อความโดยใช้แบบจำลอง N-แกรม