เคล็ดลับการสร้างโทเคนด้วย Regex

คุณสามารถแบ่งเป็นโทเค็นโดยอธิบายว่าโทเค็นมีลักษณะอย่างไร แล้วให้ Regex ค้นหาทุกส่วนที่ตรงตามคำจำกัดความ

แพตเทิร์น \w+ กับ findall จะดึงชุดอักขระที่เป็นคำทุกชุดออกมา ทำให้ได้รายการคำที่สะอาดและไม่สนใจช่องว่างระหว่างคำ

ฟังก์ชัน re.split จะแบ่งข้อความตรงจุดที่มีแพตเทิร์นปรากฏอยู่ การแยกด้วยช่องว่างจะเปลี่ยนประโยคให้เป็นรายการโทเค็นแบบคร่าว ๆ ได้อย่างรวดเร็ว

เมื่อใช้ คลาสอักขระ re.split สามารถแบ่งข้อความด้วยตัวคั่นหลายแบบพร้อมกันได้ เช่น ช่องว่าง จุลภาค และอัฒภาคในการทำงานครั้งเดียว

บางครั้งเครื่องหมายวรรคตอนก็มีความสำคัญ แพตเทิร์นอย่าง \w+|[^\w\s] จะแยกจับคำและสัญลักษณ์เดี่ยวออกจากกัน จึงไม่มีสิ่งใดถูกละทิ้งไปโดยไม่แจ้งให้ทราบ

เครื่องหมายไปป์หมายถึง “หรือ” แพตเทิร์น cat|dog จะจับคู่คำใดคำหนึ่ง ทำให้รีเจ็กซ์ชุดเดียวอธิบายรูปแบบโทเค็นหลายแบบที่คุณสนใจได้

ตัวเลขต้องมีกฎเฉพาะของตนเอง แพตเทิร์น \d+\.?\d* จะจับคู่ทั้งจำนวนเต็มและทศนิยม ทำให้ราคาและจำนวนเงินยังคงอยู่รวมกันเป็นโทเค็นเดียว

การแยกแบบไม่รอบคอบจะทำให้คำอย่าง do not ในรูปย่อเสียรูป แพตเทิร์นโทเค็นที่ฉลาดขึ้นสามารถเก็บอะพอสทรอฟีไว้ภายในคำในตำแหน่งที่ควรอยู่ได้

จุดยึด \b ใช้ระบุขอบเขตคำ ซึ่งเป็นรอยต่อระหว่างคำกับสิ่งที่ไม่ใช่คำ ช่วยให้คุณดึงทั้งคำออกมาได้โดยไม่ดึงคำข้างเคียงติดมาด้วย

ตัวแบ่งโทเค็นที่ใช้งานจริงมักรวมกฎหลายข้อด้วย การสลับ: จับคู่ URL ก่อน ตามด้วยตัวเลข คำ และสัญลักษณ์ตามลำดับความสำคัญ

หากคุณใช้แพตเทิร์นเดิมซ้ำบ่อย ๆ re.compile จะเปลี่ยนแพตเทิร์นนั้นให้เป็นออบเจ็กต์ที่นำกลับมาใช้ได้ อ่านโค้ดได้สะอาดขึ้นและทำงานเร็วขึ้นกับสตริงหลายรายการ

คุณใช้ findall, split, alternation, และ compile เพื่อเปลี่ยนข้อความดิบให้เป็นโทเค็นตามต้องการอย่างแม่นยำ รีเจ็กซ์ช่วยให้คุณควบคุมได้อย่างเต็มที่ 🎯