การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น
ลดคำให้เป็นรูปจริงที่มีอยู่ในพจนานุกรม
การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น เป็นบทเรียน NLP Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน NLP Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส NLP Academy มีบทเรียนทั้งหมด 4 บทเรียน
ตัวลดรูปที่ฉลาดกว่า
การตัดคำลงรากตัดอย่างไม่พิจารณา แต่ การคืนรูปคำหลักจะลดคำให้เป็นรูปพื้นฐานจริงในพจนานุกรม ซึ่งเรียกว่าคำหลัก ผลลัพธ์จึงเป็นคำที่ถูกต้องเสมอ 📖
คำหลักกับรากคำ
การตัดคำลงรากเปลี่ยน studies เป็น studi แต่การคืนรูปคำหลักจะคืนคำหลักที่ถูกต้องเป็น study ผลลัพธ์ที่เป็นคำจริงและเรียบร้อยนี้คือข้อดีสำคัญของ การคืนรูปคำหลัก
ใช้คลังคำศัพท์
ตัวคืนรูปคำหลักจะค้นคำใน คลังคำศัพท์จริง เช่น WordNet การค้นนี้ทำให้ทราบว่า better เป็นรูปพื้นฐาน better ไม่ใช่ bett
ตัวคืนรูปคำหลัก WordNet
NLTK มี WordNetLemmatizer ให้ใช้งาน คุณสร้างหนึ่งรายการ แล้วเรียกใช้ lemmatize กับคำเพื่อรับรูปพื้นฐานกลับมา
from nltk.stem import WordNetLemmatizer
lem = WordNetLemmatizer()
print(lem.lemmatize('cars'))ชนิดของคำมีความสำคัญ
โดยค่าเริ่มต้น ตัวคืนรูปคำหลักจะถือว่าทุกคำเป็นคำนาม ดังนั้นคำกริยา running จะยังคงเป็น running จนกว่าคุณจะระบุว่าคำนั้นเป็น คำกริยา
print(lem.lemmatize('running'))ส่งแท็กที่ถูกต้อง
ส่งอาร์กิวเมนต์ pos เพื่อแก้ปัญหานี้ เมื่อบอกตัวคืนรูปคำหลักว่าคำดังกล่าวเป็นคำกริยา running จะถูกลดรูปลงจนถึงรูปพื้นฐาน run
print(lem.lemmatize('running', pos='v'))จัดการรูปผันผิดปกติได้
เนื่องจากรู้ไวยากรณ์จริง ตัวคืนรูปคำหลักจึงจัดการคำที่ซับซ้อนได้ด้วย คำกริยา went จะถูกเปลี่ยนเป็นรูปพื้นฐาน go ได้อย่างถูกต้อง ซึ่งตัวตัดคำลงรากทำไม่ได้
print(lem.lemmatize('went', pos='v'))คำคุณศัพท์และรูปพหูพจน์
เครื่องมือนี้จัดการชนิดคำอื่นได้เช่นกัน เมื่อใช้แท็กคำคุณศัพท์ ตัวคืนรูปคำหลักจะเปลี่ยน better เป็นรูปพื้นฐาน good
print(lem.lemmatize('better', pos='a'))คืนรูปคำหลักในรายการโทเค็น
ใช้กับเอกสารทั้งฉบับด้วย นิพจน์สร้างรายการเช่นเดียวกับการตัดคำลงราก แต่ละโทเค็นจะกลับมาเป็นรูปพื้นฐานที่สะอาดและถูกต้อง
words = ['dogs', 'boxes', 'wishes']
print([lem.lemmatize(w) for w in words])ช้าลงแต่แม่นยำขึ้น
การคืนรูปคำหลักต้องใช้พจนานุกรมและควรมีแท็กชนิดของคำ จึงทำงานช้ากว่าการตัดคำลงราก คุณแลก ความเร็วกับผลลัพธ์ที่สะอาดและแม่นยำกว่า ⚖️
ควรเลือกแบบไหนดี
ใช้การตัดคำลงรากสำหรับการค้นหาขนาดใหญ่ที่ต้องการความเร็ว และใช้ การคืนรูปคำหลักเมื่อรูปพื้นฐานที่อ่านง่ายและแม่นยำมีความสำคัญ เช่น การสร้างคุณลักษณะให้โมเดล
ตรวจสอบอย่างรวดเร็ว
มาเปรียบเทียบตัวลดรูปทั้งสองแบบกัน
สรุปทบทวน
คุณได้เรียนรู้ว่า การคืนรูปคำหลักใช้คลังคำศัพท์และแท็กชนิดของคำเพื่อคืนรูปพื้นฐานจริง วิธีนี้ช้ากว่าการตัดคำลงราก แต่สะอาดกว่ามาก ทำได้ยอดเยี่ยมครับ/ค่ะ 🎉
เรียนรู้ Python ด้วย AI tutor — ฟรี
เขียนและเรียกใช้โค้ดจริงในเบราว์เซอร์ของคุณ รับความช่วยเหลือทันทีจาก AI tutor 24/7 และเรียนรู้ต่อจากที่คุณหยุดบนเว็บหรือในแอป
- คอร์ส
- 30
- บทเรียน
- 120
คำถามที่พบบ่อย
บทเรียน “การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส NLP Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส NLP Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น”
ลดคำให้เป็นรูปจริงที่มีอยู่ในพจนานุกรม คุณปฏิบัติ NLP Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน NLP Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน NLP Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน NLP Academy นี้ได้ไหม
ได้ บทเรียน NLP Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- เหตุใดตัวพิมพ์และการเว้นวรรคจึงสำคัญ
- เปลี่ยนเป็นตัวพิมพ์เล็กและตัดช่องว่าง
- การตัดคำ: ตัดให้เหลือรากศัพท์
- การทำเลมมาไทเซชัน: รูปพื้นฐานที่ฉลาดขึ้น