Orkiestracja ponownego trenowania za pomocą Airflow
Zbuduj DAG, który ponownie trenuje i waliduje model
Orkiestracja ponownego trenowania za pomocą Airflow to bezpłatna lekcja MLOps Academy na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej MLOps Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs MLOps Academy zawiera 4 lekcji w sumie.
Dlaczego warto używać orkiestratora
Retraining obejmuje wiele kroków, które muszą być wykonywane w odpowiedniej kolejności i obsługiwać awarie. Orkiestrator, taki jak Airflow, uruchamia je niezawodnie, dzięki czemu nie muszą Państwo stale pilnować skryptów.
Airflow w jednym zdaniu
Apache Airflow planuje i uruchamia przepływy pracy zdefiniowane jako kod w Pythonie. Opisują Państwo, co należy zrobić, a Airflow zajmuje się tym, kiedy i w jakiej kolejności.
DAG
Przepływ pracy Airflow to DAG, czyli skierowany graf acykliczny zadań. Acykliczność oznacza, że graf nigdy nie wraca do wcześniejszego punktu, więc wykonanie zawsze ma wyraźny koniec.
Zadania są węzłami
Każdy krok, taki jak ingest, train lub validate, jest w grafie DAG osobnym zadaniem. Zadania to jednostki, które Airflow uruchamia, ponawia i śledzi.
Definiowanie DAG w kodzie
DAG i jego harmonogram deklarują Państwo bezpośrednio w Pythonie. W tym przypadku dekorator @dag ustawia codzienny rytm retrainingu.
from airflow.decorators import dag
@dag(schedule="@daily", catchup=False)
def retrain_pipeline():
...Konfigurowanie zależności
Operator strzałki ustala kolejność zadań. Ten zapis oznacza, że ingest musi zakończyć się przed train, a train przed validate.
ingest() >> train() >> validate()Operatory wykonują pracę
Operator jest szablonem dla określonego rodzaju zadania, na przykład uruchamiania kodu Python lub polecenia Bash. PythonOperator uruchamia Państwa funkcję treningową.
Wbudowane ponowienia
Po ustawieniu retries dla zadania Airflow automatycznie uruchomi je ponownie, jeśli zakończy się niepowodzeniem. Niestabilne pobieranie danych nie przerwie już całego potoku.
train_task = PythonOperator(
task_id="train",
retries=3,
)Obserwowanie w interfejsie
Airflow udostępnia interfejs internetowy pokazujący każde wykonanie jako kolorową siatkę. Zielony oznacza powodzenie, a czerwony niepowodzenie, dzięki czemu od razu zauważą Państwo uszkodzone zadanie.
Harmonogram lub wyzwalacz
DAG może działać zgodnie z harmonogramem albo zostać uruchomiony na żądanie. Dzięki temu ten sam potok obsługuje zarówno cron, jak i retraining wyzwalany driftem.
Zadania idempotentne
Każde zadanie należy zaprojektować tak, aby można je było bezpiecznie uruchamiać ponownie i uzyskiwać ten sam wynik. Zadania idempotentne ułatwiają ponowienia i uzupełnianie danych historycznych.
Szybki sprawdzian
Co robi operator >> między dwoma zadaniami Airflow?
Podsumowanie
Poznali Państwo Airflow: przepływy pracy to zadania w strukturze DAG, połączone za pomocą >>, wyposażone w ponowienia i obserwowane w interfejsie. Airflow przekształca skrypty retrainingu w niezawodny potok. ✅
Często zadawane pytania
Czy lekcja „Orkiestracja ponownego trenowania za pomocą Airflow” jest bezpłatna?
Tak — pełny tekst „Orkiestracja ponownego trenowania za pomocą Airflow” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu MLOps Academy, przejdź na CoddyKit PRO. Kurs MLOps Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Orkiestracja ponownego trenowania za pomocą Airflow”?
Zbuduj DAG, który ponownie trenuje i waliduje model Ćwiczysz MLOps Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć MLOps Academy?
Nie wymagamy żadnego doświadczenia. MLOps Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.
Ile czasu zajmuje lekcja „Orkiestracja ponownego trenowania za pomocą Airflow”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji MLOps Academy?
Tak. Każda lekcja MLOps Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Ponowne trenowanie według harmonogramu a na podstawie wyzwalacza
- Orkiestracja ponownego trenowania za pomocą Airflow
- Automatyczne promowanie tylko po pokonaniu baseline’u
- Pozostawienie człowieka w pętli