ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน
แยกการฝึกออกเป็นขั้นตอนชัดเจนที่แคชได้
ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน เป็นบทเรียน MLOps Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน MLOps Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
จากสคริปต์ใหญ่หนึ่งไฟล์สู่ขั้นตอนต่าง ๆ
train.py เพียงไฟล์เดียวที่ทำทุกอย่างนั้นนำกลับมาใช้ซ้ำได้ยากและแก้ไขข้อบกพร่องได้ช้า การแบ่งออกเป็นขั้นตอนทำให้แต่ละขั้นตอนชัดเจนและเรียกใช้แยกกันได้ 🧩
สี่ขั้นตอนพื้นฐาน
กระบวนการฝึกส่วนใหญ่มีรูปแบบเดียวกัน ได้แก่ ingest, prep, train, eval แต่ละขั้นตอนรับข้อมูลเข้าและสร้างข้อมูลออกให้ขั้นตอนถัดไปอ่าน
ขั้นตอนที่ 1: Ingest
ขั้นตอน ingest จะดึงข้อมูลดิบจากแหล่งที่มา เช่น ฐานข้อมูลหรือบักเก็ต แล้วเขียนลงในเส้นทางภายในเครื่องที่กำหนดไว้ ยังไม่มีการทำความสะอาดข้อมูล
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")ขั้นตอนที่ 2: Prep
ขั้นตอน prep จะทำความสะอาดและแปลงข้อมูลดิบให้เป็นคุณลักษณะที่พร้อมใช้กับโมเดล รวมถึงจัดการค่าที่หายไป การเข้ารหัส และการแบ่งเป็นชุดฝึกกับชุดทดสอบ
ขั้นตอนที่ 3: Train
ขั้นตอน train จะอ่านคุณลักษณะที่เตรียมไว้และฝึกโมเดล จากนั้นบันทึกอาร์ติแฟกต์ที่ฝึกแล้วลงดิสก์ เพื่อให้ขั้นตอนถัดไปใช้ประเมินคะแนน
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")ขั้นตอนที่ 4: Eval
ขั้นตอน eval จะโหลดโมเดลที่บันทึกไว้ ประเมินคะแนนด้วยชุดทดสอบที่กันไว้ออกจากการฝึก และเขียนตัวชี้วัด เช่น ความแม่นยำ ลงในไฟล์ที่คุณติดตามได้
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))ขั้นตอนส่งต่อไฟล์ ไม่ใช่ตัวแปร
ขั้นตอนต่าง ๆ ติดต่อกันผ่านไฟล์บนดิสก์ ไม่ใช่ตัวแปรในหน่วยความจำ การแยกส่วนนี้ทำให้คุณเรียกใช้ขั้นตอนหนึ่งใหม่ได้โดยไม่ต้องเรียกใช้ขั้นตอนอื่น
เหตุใดจึงแคชขั้นตอนได้
เนื่องจากแต่ละขั้นตอนมีข้อมูลเข้าและข้อมูลออกที่ตายตัว เครื่องมือจึงสามารถแคชผลลัพธ์ได้ หากข้อมูลเข้าไม่เปลี่ยน ขั้นตอนนั้นจะถูกข้ามไปทั้งหมด
แต่ละขั้นตอนเป็นสคริปต์ของตนเอง
กำหนดให้แต่ละขั้นตอนมีสคริปต์ขนาดเล็กหนึ่งไฟล์ที่ทำหน้าที่ชัดเจน ingest.py, prep.py, train.py และ eval.py อ่านข้อมูลเข้าและเขียนข้อมูลออกเท่านั้น
ขั้นตอนรวมกันเป็น DAG
ขั้นตอนต่าง ๆ เชื่อมต่อกันเป็นDAG ซึ่งเป็นกราฟมีทิศทางที่แต่ละขั้นตอนขึ้นอยู่กับขั้นตอนก่อนหน้า Eval ขึ้นอยู่กับ train, train ขึ้นอยู่กับ prep และ prep ขึ้นอยู่กับ ingest
ขั้นตอนที่ชัดเจนทำให้แก้ไขข้อบกพร่องได้ง่าย
เมื่อการเรียกใช้ล้มเหลว ขั้นตอนที่แยกชัดเจนจะบอกได้ทันทีว่าปัญหาเกิดขึ้นที่ใด คุณสามารถเรียกใช้เฉพาะขั้นตอนที่ล้มเหลวใหม่ได้ แทนที่จะเรียกใช้กระบวนการทั้งหมด
ตรวจสอบอย่างรวดเร็ว
มาดูกันว่าขั้นตอนต่าง ๆ สื่อสารกันอย่างไร
ทบทวน: Ingest, Prep, Train, Eval
คุณได้เรียนรู้การแบ่งการฝึกออกเป็นขั้นตอนสี่ขั้นที่แคชได้ และส่งต่อข้อมูลผ่านไฟล์ ขั้นตอนที่ชัดเจนทำให้การเรียกใช้ซ้ำเร็วขึ้นและแก้ไขข้อบกพร่องได้ง่ายขึ้นมาก 🚀
คำถามที่พบบ่อย
บทเรียน “ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส MLOps Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน”
แยกการฝึกออกเป็นขั้นตอนชัดเจนที่แคชได้ คุณปฏิบัติ MLOps Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน MLOps Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน MLOps Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน
บทเรียน “ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน MLOps Academy นี้ได้ไหม
ได้ บทเรียน MLOps Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- ระยะ: รับข้อมูล เตรียม ฝึก ประเมิน
- กำหนดไปป์ไลน์ด้วยระยะของ DVC
- แคชและข้ามขั้นตอนที่ไม่เปลี่ยนแปลง
- กำหนดพารามิเตอร์การรันด้วย params.yaml