Orkestrasi Pelatihan Ulang dengan Airflow
Bangun DAG yang melatih ulang dan memvalidasi model.
Orkestrasi Pelatihan Ulang dengan Airflow adalah pelajaran MLOps Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar MLOps Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus MLOps Academy mencakup 4 pelajaran total.
Mengapa Menggunakan Orkestrator
Pelatihan ulang memiliki banyak langkah yang harus berjalan berurutan dan pulih dari kegagalan. Orkestrator seperti Airflow menjalankannya dengan andal, sehingga Anda tidak perlu terus mengawasi skrip.
Airflow dalam Satu Kalimat
Apache Airflow menjadwalkan dan menjalankan alur kerja yang didefinisikan sebagai kode dalam Python. Anda menjelaskan apa yang harus dilakukan, lalu Airflow menangani kapan dan dalam urutan apa.
DAG
Alur kerja Airflow adalah DAG, yaitu graf berarah tanpa siklus yang terdiri dari tugas-tugas. Tanpa siklus berarti graf tidak pernah kembali berputar, sehingga proses selalu memiliki akhir yang jelas.
Tugas Adalah Simpul
Setiap langkah, seperti memasukkan data, melatih, atau memvalidasi, adalah sebuah tugas dalam DAG. Tugas adalah unit yang dijalankan, dicoba ulang, dan dilacak oleh Airflow.
Definisikan DAG dalam Kode
Anda mendeklarasikan DAG dan jadwalnya langsung dalam Python. Di sini, dekorator @dag menetapkan frekuensi pelatihan ulang harian.
from airflow.decorators import dag
@dag(schedule="@daily", catchup=False)
def retrain_pipeline():
...Hubungkan Ketergantungan
Operator panah menetapkan urutan antartugas. Ini berarti memasukkan data harus selesai sebelum melatih, dan melatih harus selesai sebelum memvalidasi.
ingest() >> train() >> validate()Operator Melakukan Pekerjaan
Operator adalah templat untuk satu jenis tugas, seperti menjalankan Python atau perintah Bash. PythonOperator menjalankan fungsi pelatihan Anda.
Percobaan Ulang Bawaan
Tetapkan percobaan ulang pada tugas, lalu Airflow akan menjalankannya kembali secara otomatis jika gagal. Pengambilan data yang tidak stabil tidak lagi merusak seluruh alur kerja.
train_task = PythonOperator(
task_id="train",
retries=3,
)Pantau di Antarmuka Pengguna
Airflow menyediakan antarmuka web yang menampilkan setiap proses sebagai kisi berwarna. Hijau berarti berhasil, merah berarti gagal, sehingga Anda dapat langsung menemukan tugas yang rusak.
Jadwalkan atau Picu
DAG dapat berjalan sesuai jadwalnya atau dimulai sesuai permintaan. Dengan begitu, alur kerja yang sama dapat melayani pelatihan ulang berbasis cron maupun pemicu pergeseran.
Tugas Idempoten
Rancang setiap tugas agar aman dijalankan ulang dan menghasilkan hasil yang sama. Tugas idempoten membuat percobaan ulang dan pengisian ulang data menjadi mudah.
Pemeriksaan Singkat
Apa fungsi operator >> di antara dua tugas Airflow?
Ringkasan
Anda telah mengenal Airflow: alur kerja adalah DAG yang terdiri dari tugas-tugas yang dihubungkan dengan >>, dilengkapi percobaan ulang, dan dipantau di antarmuka pengguna. Airflow mengubah skrip pelatihan ulang menjadi alur kerja yang andal. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Orkestrasi Pelatihan Ulang dengan Airflow” gratis?
Ya — teks lengkap “Orkestrasi Pelatihan Ulang dengan Airflow” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus MLOps Academy, upgrade ke CoddyKit PRO. Kursus MLOps Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Orkestrasi Pelatihan Ulang dengan Airflow”?
Bangun DAG yang melatih ulang dan memvalidasi model. Kamu berlatih MLOps Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai MLOps Academy?
Tidak diperlukan pengalaman sebelumnya. MLOps Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Orkestrasi Pelatihan Ulang dengan Airflow” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran MLOps Academy ini?
Ya. Setiap pelajaran MLOps Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Pelatihan Ulang Terjadwal vs Berbasis Pemicu
- Orkestrasi Pelatihan Ulang dengan Airflow
- Naikkan Otomatis Hanya Jika Mengungguli Baseline
- Libatkan Manusia dalam Proses