จัดการการฝึกใหม่ด้วย Airflow
สร้าง DAG ที่ฝึกและตรวจสอบโมเดลใหม่
จัดการการฝึกใหม่ด้วย Airflow เป็นบทเรียน MLOps Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน MLOps Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
เหตุผลที่ต้องใช้ตัวควบคุมกระบวนการ
การฝึกใหม่มีหลายขั้นตอนที่ต้องทำตามลำดับและกู้คืนจากความล้มเหลว ตัวควบคุมกระบวนการอย่าง Airflow จะดำเนินการเหล่านั้นอย่างน่าเชื่อถือ ทำให้คุณไม่ต้องคอยเฝ้าสคริปต์
Airflow ในบรรทัดเดียว
Apache Airflow จัดตารางเวลาและเรียกใช้กระบวนการทำงานที่กำหนดเป็นโค้ดใน Python คุณอธิบายว่าต้องทำอะไร แล้ว Airflow จัดการว่าเมื่อใดและตามลำดับใด
DAG
กระบวนการทำงานของ Airflow คือDAG หรือกราฟมีทิศทางแบบไม่มีวัฏจักร คำว่าไม่มีวัฏจักรหมายถึงกราฟจะไม่วนกลับ จึงมีจุดสิ้นสุดที่ชัดเจนเสมอ
งานคือโหนด
แต่ละขั้นตอน เช่น รับข้อมูล ฝึก หรือยืนยันผล คืองานหนึ่งใน DAG งานเหล่านี้เป็นหน่วยที่ Airflow เรียกใช้ ลองใหม่ และติดตาม
กำหนด DAG ในโค้ด
คุณประกาศ DAG และกำหนดเวลาของมันไว้ใน Python ได้โดยตรง ในที่นี้มัณฑนากร @dag จะกำหนดรอบการฝึกใหม่เป็นรายวัน
from airflow.decorators import dag
@dag(schedule="@daily", catchup=False)
def retrain_pipeline():
...เชื่อมโยงสิ่งที่ต้องทำก่อนหลัง
ตัวดำเนินการลูกศรใช้กำหนดลำดับระหว่างงาน ข้อความนี้หมายความว่ารับข้อมูลต้องเสร็จก่อนฝึก และฝึกต้องเสร็จก่อนยืนยันผล
ingest() >> train() >> validate()ตัวดำเนินการทำงาน
ตัวดำเนินการคือแม่แบบสำหรับงานประเภทหนึ่ง เช่น การเรียกใช้ Python หรือคำสั่ง Bash โดย PythonOperator จะเรียกใช้ฟังก์ชันฝึกของคุณ
มีการลองใหม่ในตัว
กำหนดจำนวนครั้งที่ลองใหม่ให้กับงาน แล้ว Airflow จะเรียกใช้งานนั้นซ้ำโดยอัตโนมัติหากล้มเหลว การดึงข้อมูลที่ไม่เสถียรจะไม่ทำให้กระบวนการทำงานทั้งหมดหยุดชะงักอีกต่อไป
train_task = PythonOperator(
task_id="train",
retries=3,
)ดูในส่วนติดต่อผู้ใช้
Airflow มาพร้อมส่วนติดต่อผู้ใช้บนเว็บที่แสดงการทำงานแต่ละครั้งเป็นตารางสี สีเขียวหมายถึงสำเร็จ สีแดงหมายถึงล้มเหลว คุณจึงพบงานที่เสียได้ทันที
กำหนดเวลาหรือเรียกใช้
DAG สามารถทำงานตามกำหนดเวลา หรือถูกเรียกใช้ตามต้องการได้ ทำให้กระบวนการทำงานเดียวกันรองรับทั้งการฝึกใหม่ตาม cron และตามตัวกระตุ้นจากการเบี่ยงเบน
งานแบบทำซ้ำแล้วได้ผลเดิม
ออกแบบแต่ละงานให้เรียกใช้ซ้ำได้อย่างปลอดภัยและให้ผลลัพธ์เดิม งานแบบทำซ้ำแล้วได้ผลเดิมทำให้การลองใหม่และการเติมข้อมูลย้อนหลังเป็นเรื่องง่าย
ตรวจสอบอย่างรวดเร็ว
ตัวดำเนินการ >> ทำอะไรระหว่างงานสองงานของ Airflow
สรุป
คุณได้รู้จัก Airflow แล้ว: กระบวนการทำงานคือDAGของงานที่เชื่อมด้วย >> กำหนดให้ลองใหม่ได้ และติดตามผ่านส่วนติดต่อผู้ใช้ เครื่องมือนี้เปลี่ยนสคริปต์ฝึกใหม่ให้เป็นกระบวนการทำงานที่น่าเชื่อถือ ✅
คำถามที่พบบ่อย
บทเรียน “จัดการการฝึกใหม่ด้วย Airflow” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “จัดการการฝึกใหม่ด้วย Airflow” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส MLOps Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “จัดการการฝึกใหม่ด้วย Airflow”
สร้าง DAG ที่ฝึกและตรวจสอบโมเดลใหม่ คุณปฏิบัติ MLOps Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน MLOps Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน MLOps Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน
บทเรียน “จัดการการฝึกใหม่ด้วย Airflow” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน MLOps Academy นี้ได้ไหม
ได้ บทเรียน MLOps Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- การฝึกใหม่ตามกำหนดเวลากับตามตัวกระตุ้น
- จัดการการฝึกใหม่ด้วย Airflow
- เลื่อนขึ้นอัตโนมัติเมื่อชนะค่าอ้างอิงเท่านั้น
- ให้มนุษย์มีส่วนร่วมในกระบวนการ