ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ
รวมวิธีแก้ทั้งหมดอย่างเป็นระเบียบ
ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ เป็นบทเรียน NLP Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน NLP Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส NLP Academy มีบทเรียนทั้งหมด 4 บทเรียน
รวบรวมทุกอย่างเข้าด้วยกัน
ตอนนี้คุณจะเชื่อมวิธีแก้ทุกอย่างเข้าด้วยกันเป็นขั้นตอนเดียวที่เป็นระเบียบ ไปป์ไลน์เดียวจะจัดการการแปลงเวกเตอร์ การสุ่มตัวอย่างใหม่ และการสร้างโมเดลตามลำดับ
แบ่งข้อมูลก่อนเสมอ
เริ่มด้วยการแบ่งข้อมูลแบบแบ่งชั้น เพื่อให้ข้อมูลฝึกและข้อมูลทดสอบมีสัดส่วนของคลาสที่พบได้น้อยเท่ากัน วิธีนี้ช่วยให้การประเมินเป็นธรรม
X_tr, X_te, y_tr, y_te = train_test_split(X, y, stratify=y)แปลงข้อความเป็นเวกเตอร์
แปลงข้อความดิบเป็นตัวเลขด้วย TF-IDF เพื่อให้ตัวจำแนกมีคุณลักษณะสำหรับเรียนรู้
tfidf = TfidfVectorizer()สุ่มตัวอย่างใหม่ภายในไปป์ไลน์
ใช้ Pipeline ของ imblearn เพื่อให้ SMOTE ทำงานเฉพาะกับส่วนฝึกเท่านั้น และไม่รั่วไหลไปยังการตรวจสอบหรือการทดสอบ
from imblearn.pipeline import Pipelineเชื่อมขั้นตอนต่าง ๆ
เรียงขั้นตอนตามลำดับ ได้แก่ ตัวแปลงเวกเตอร์ จากนั้น SMOTE แล้วจึงเป็นโมเดล ไปป์ไลน์จะเรียกใช้ทั้งหมดเป็นออบเจ็กต์ที่ผ่านการฝึกเพียงหนึ่งเดียว
pipe = Pipeline([('tf', tfidf), ('sm', SMOTE()), ('clf', LogisticRegression())])ฝึกครั้งเดียวอย่างเป็นระเบียบ
เรียกใช้ fit กับไปป์ไลน์ทั้งหมด ทุกขั้นตอนจะฝึกตามลำดับโดยใช้เฉพาะข้อมูลฝึกของคุณ
pipe.fit(X_tr, y_tr)ประเมินให้ถูกวิธี
อย่าใช้ความแม่นยำดิบ classification_reportจะแสดงความแม่นยำ ความครอบคลุม และ F1 ของคลาสที่พบได้น้อยอย่างชัดเจน
from sklearn.metrics import classification_report
print(classification_report(y_te, pipe.predict(X_te)))ตรวจสอบโดยไม่มีข้อมูลรั่วไหล
ใช้ไปป์ไลน์ร่วมกับการตรวจสอบไขว้แบบแบ่งชั้น เพื่อให้การสุ่มตัวอย่างใหม่เกิดขึ้นใหม่ภายในแต่ละส่วน
ปรับเกณฑ์ตัดสิน
รับค่าความน่าจะเป็นจากไปป์ไลน์ แล้วเลือกเกณฑ์ตัดสินที่ทำให้ได้ความครอบคลุมตามเป้าหมายบนข้อมูลตรวจสอบ
proba = pipe.predict_proba(X_te)[:, 1]บันทึกไปป์ไลน์ทั้งหมด
เก็บไปป์ไลน์ที่ผ่านการฝึกทั้งหมดไว้ด้วย joblib เพื่อให้การอนุมานเรียกใช้ทุกขั้นตอนซ้ำโดยอัตโนมัติในภายหลัง
import joblib
joblib.dump(pipe, 'model.joblib')ออบเจ็กต์เดียว ทำซ้ำได้
เนื่องจากการแปลงเวกเตอร์ การปรับสมดุล และการสร้างโมเดลอยู่ร่วมกัน ผลลัพธ์ของคุณจึงยังทำซ้ำได้และปราศจากข้อมูลรั่วไหลเล็ก ๆ น้อย ๆ 🚀
ตรวจสอบอย่างรวดเร็ว
ตรวจสอบเรื่องไปป์ไลน์ที่ปลอดภัยอีกสักข้อ
ทบทวน
แบ่งข้อมูลแบบแบ่งชั้น แปลงข้อความเป็นเวกเตอร์ สุ่มตัวอย่างใหม่ภายในไปป์ไลน์ ประเมินด้วย F1 และความครอบคลุม ปรับเกณฑ์ตัดสิน แล้วบันทึกทุกอย่างไว้ 🚀
เรียนรู้ Python ด้วย AI tutor — ฟรี
เขียนและเรียกใช้โค้ดจริงในเบราว์เซอร์ของคุณ รับความช่วยเหลือทันทีจาก AI tutor 24/7 และเรียนรู้ต่อจากที่คุณหยุดบนเว็บหรือในแอป
- คอร์ส
- 30
- บทเรียน
- 120
คำถามที่พบบ่อย
บทเรียน “ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส NLP Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส NLP Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ”
รวมวิธีแก้ทั้งหมดอย่างเป็นระเบียบ คุณปฏิบัติ NLP Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน NLP Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน NLP Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน NLP Academy นี้ได้ไหม
ได้ บทเรียน NLP Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- เหตุใดคลาสที่พบได้น้อยจึงถูกละเลย
- การสุ่มตัวอย่างใหม่และน้ำหนักคลาส
- เลือกเกณฑ์ตัดสินและเมตริก
- ไปป์ไลน์ข้อมูลไม่สมดุลตั้งแต่ต้นจนจบ