พื้นฐานการแบ่งประโยค

บางครั้งคุณต้องการทั้งประโยค ไม่ใช่คำ Sentence segmentation จะค้นหาว่าประโยคหนึ่งจบลงที่ใดและประโยคถัดไปเริ่มต้นที่ใด 📑

สัญญาณที่ชัดเจนที่สุดคือ punctuation ท้ายประโยค ได้แก่ จุด เครื่องหมายคำถาม หรือเครื่องหมายอัศเจรีย์ ซึ่งโดยทั่วไปใช้ปิดประโยค

คุณอาจลองแยกตรงจุดก็ได้ สำหรับข้อความง่าย ๆ วิธีนี้ใช้ได้ โดยเปลี่ยนประโยคสะอาดสองประโยคให้เป็น list ที่เป็นระเบียบ

กับดักอยู่ตรงนี้: จุดไม่ได้จบประโยคเสมอไป Abbreviations อย่าง Dr. หรือ U.S.A. ใช้จุดที่ทำให้ตัวแยกแบบง่ายเข้าใจผิด

ตัวเลขอย่าง 3.14 ก็มีจุดเช่นกัน หากแยกโดยไม่พิจารณา คุณจะตัด number เดียวออกเป็นชิ้นส่วนที่เสียหายสองชิ้น

บทสนทนาทำให้เรื่องยากขึ้น ประโยคอาจจบลงภายในเครื่องหมายคำพูด ดังนั้น quote ปิดอาจอยู่หลังจุด

หากต้องการตัดสินว่าจุดเป็นจุดจบประโยคหรือไม่ คุณต้องดู context รอบ ๆ จุดนั้น เช่น ตัวอักษรถัดไป การใช้ตัวพิมพ์ใหญ่ และคำย่อที่รู้จัก

งานจำนวนมากทำงานทีละประโยค เครื่องมือสรุปข้อความ เครื่องมือแปล และเครื่องมือวิเคราะห์ความรู้สึก ล้วนต้องอาศัย boundaries ที่สะอาดเพื่อให้ทำงานได้ดี

เนื่องจากกฎเหล่านี้มีรายละเอียดละเอียดอ่อน โค้ดจริงจึงใช้เครื่องมือที่ผ่านการฝึกมาแล้ว sent_tokenize ของ NLTK จัดการคำย่อและกรณีขอบให้คุณ

ลำดับที่ใช้กันทั่วไปคือแยกประโยคก่อน แล้วจึงแยกคำ คุณจะ segment ข้อความเป็นประโยค จากนั้นจึงตัดแต่ละประโยคเป็นรายการคำของตัวเอง

กฎการจบประโยคแตกต่างกันไปตามภาษา อักษรบางระบบใช้เครื่องหมายจบประโยคของตนเอง ดังนั้นเครื่องมือที่ดีควร language-aware ไม่ใช่กำหนดตายตัวไว้เฉพาะภาษาอังกฤษ

Sentence segmentation จะค้นหาเขตแดนของประโยค จุดเป็นเพียงเบาะแส ไม่ใช่หลักฐานยืนยัน ดังนั้นคำย่อและทศนิยมจึงทำให้การแยกแบบง่ายผิดพลาด เครื่องมืออย่าง sent_tokenize ช่วยจัดการเรื่องนี้