Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow
Pipeline berbasis DAG, dependensi tugas, penyerapan data → pelatihan → evaluasi → penerapan.
Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.
Mengapa Orkestrasi
Alur kerja pembelajaran mesin memiliki banyak langkah: memasukkan data, membangun fitur, melatih, mengevaluasi, dan melakukan deploy. Menjalankan semua ini secara manual rentan mengalami masalah. Apache Airflow mengorkestrasikannya sebagai kode, dengan penjadwalan, percobaan ulang, dependensi, dan pemantauan bawaan.
DAG
Airflow memodelkan alur sebagai DAG (Graf Berarah Asiklik) yang terdiri dari berbagai tugas. Asiklik berarti tidak ada tugas yang dapat bergantung pada dirinya sendiri dalam sebuah loop, sehingga eksekusi selalu memiliki urutan yang jelas dari awal hingga akhir.
Mendefinisikan DAG
Anda mendeklarasikan DAG dengan sebuah id, jadwal, dan tanggal mulai. Jadwal mengatur seberapa sering DAG dijalankan, misalnya untuk pelatihan ulang setiap hari.
from airflow import DAG
import datetime
with DAG(
dag_id="ml_pipeline",
schedule="@daily",
start_date=datetime.datetime(2024, 1, 1),
catchup=False,
) as dag:
...Operator adalah Tugas
Setiap simpul dalam DAG adalah tugas yang dibuat dari sebuah operator. Operator yang berbeda menjalankan jenis pekerjaan yang berbeda: fungsi Python, perintah Bash, kueri SQL, dan lainnya.
PythonOperator untuk Pelatihan
PythonOperator menjalankan fungsi Python yang dapat dipanggil. Operator ini cocok untuk langkah pelatihan yang memanggil fungsi pelatihan Anda.
from airflow.operators.python import PythonOperator
def train_model():
# load features, fit model, save artifact
...
train = PythonOperator(
task_id="train",
python_callable=train_model,
)BashOperator untuk Evaluasi
BashOperator menjalankan perintah shell, sehingga berguna untuk memanggil skrip evaluasi atau alat CLI.
from airflow.operators.bash import BashOperator
evaluate = BashOperator(
task_id="evaluate",
bash_command="python /opt/ml/evaluate.py --model latest",
)Mendefinisikan Dependensi
Operator >> menetapkan urutan tugas: a >> b berarti b dijalankan setelah a berhasil. Dengan demikian, evaluasi dalam DAG hanya dimulai setelah pelatihan selesai.
train >> evaluate
# train must succeed before evaluate runsRangkaian Dependensi yang Lebih Panjang
Anda dapat merangkai banyak tugas untuk menyatakan urutan lengkap alur. Airflow menjalankan cabang independen secara paralel dan mematuhi setiap dependensi yang Anda nyatakan.
ingest >> features >> train >> evaluate >> deployMeneruskan Data dengan XCom
Tugas berjalan secara terpisah, jadi bagaimana satu tugas meneruskan hasilnya ke tugas berikutnya? XCom (komunikasi lintas tugas) memungkinkan sebuah tugas mengirim nilai kecil (seperti jalur model atau metrik) yang kemudian diambil oleh tugas berikutnya.
def train_model(ti):
path = "/models/run_42.pt"
ti.xcom_push(key="model_path", value=path)
def deploy(ti):
path = ti.xcom_pull(key="model_path", task_ids="train")
# deploy the artifact at pathXCom untuk Data Kecil
XCom ditujukan untuk metadata kecil (jalur, ID, metrik), bukan kumpulan data besar. Artefak besar sebaiknya disimpan di penyimpanan objek (S3), sementara hanya lokasinya yang diteruskan melalui XCom. Penggunaan XCom secara berlebihan untuk muatan besar membebani basis data metadata.
Penjadwalan dan Percobaan Ulang
Airflow menambahkan ketangguhan produksi secara cuma-cuma: jadwal memicu proses secara otomatis, tugas yang gagal akan mencoba lagi dengan jeda bertahap, dan antarmuka pengguna menampilkan status setiap tugas dan proses, serta mengirimkan peringatan saat terjadi kegagalan.
Uji Cepat
Ujilah pengetahuan Anda tentang Airflow.
Ringkasan
Anda telah mempelajari alur pembelajaran mesin yang dapat diskalakan dengan Airflow:
- Sebuah DAG dengan jadwal mendefinisikan alur
- PythonOperator menjalankan pelatihan; BashOperator menjalankan evaluasi
- Operator
>>menetapkan dependensi tugas - XCom meneruskan artefak kecil antar tugas; data besar disimpan di penyimpanan objek
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 53
- Pelajaran
- 225
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow” gratis?
Ya — teks lengkap “Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow”?
Pipeline berbasis DAG, dependensi tugas, penyerapan data → pelatihan → evaluasi → penerapan. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Learn AI with Python?
Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?
Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Pola Arsitektur Sistem Kecerdasan Buatan
- Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow
- Penyimpanan Fitur: Feast dan Tecton
- Observabilitas dan Pemantauan Sistem Kecerdasan Buatan