पाइथन के साथ एआई सीखें · पाठ

Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन

DAG-आधारित पाइपलाइन, task dependencies और data ingestion → training → evaluation → deploy।

पाठ 2, कुल 4 में से13 चरण

Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन, CoddyKit पर पाइथन के साथ एआई सीखें का एक निःशुल्क पाठ है। यह 4 में से 2वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह पाइथन के साथ एआई सीखें सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। पाइथन के साथ एआई सीखें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

व्यवस्थापन क्यों

मशीन लर्निंग कार्यप्रवाह में कई चरण होते हैं: डेटा ग्रहण करना, विशेषताएँ बनाना, प्रशिक्षण देना, मूल्यांकन करना और deploy करना। इन्हें हाथ से चलाना अविश्वसनीय होता है। अपाचे एयरफ़्लो इन्हें कोड के रूप में व्यवस्थित करता है और इसमें समय-सारणी, पुनः प्रयास, निर्भरताएँ तथा निगरानी पहले से शामिल होती हैं।

DAG

एयरफ़्लो किसी कार्यप्रवाह को कार्यों के DAG (दिशात्मक अचक्रीय ग्राफ) के रूप में दर्शाता है। अचक्रीय का अर्थ है कि कोई कार्य चक्र बनाकर स्वयं पर निर्भर नहीं हो सकता, इसलिए निष्पादन का आरंभ से अंत तक क्रम हमेशा स्पष्ट रहता है।

DAG परिभाषित करना

आप किसी DAG को एक आईडी, समय-सारणी और आरंभ तिथि के साथ घोषित करते हैं। समय-सारणी यह नियंत्रित करती है कि वह कितनी बार चलेगा, जैसे दैनिक पुनःप्रशिक्षण।

from airflow import DAG
import datetime

with DAG(
    dag_id="ml_pipeline",
    schedule="@daily",
    start_date=datetime.datetime(2024, 1, 1),
    catchup=False,
) as dag:
    ...

संचालक कार्य होते हैं

DAG का प्रत्येक नोड किसी संचालक से बनाए गए कार्य का प्रतिनिधित्व करता है। अलग-अलग संचालक अलग प्रकार का काम चलाते हैं: Python फ़ंक्शन, bash कमांड, SQL प्रश्न और भी बहुत कुछ।

प्रशिक्षण के लिए PythonOperator

PythonOperator किसी Python कॉल करने योग्य फ़ंक्शन को चलाता है। यह उस प्रशिक्षण चरण के लिए बिल्कुल उपयुक्त है जो आपके प्रशिक्षण फ़ंक्शन को बुलाता है।

from airflow.operators.python import PythonOperator

def train_model():
    # load features, fit model, save artifact
    ...

train = PythonOperator(
    task_id="train",
    python_callable=train_model,
)

मूल्यांकन के लिए BashOperator

BashOperator शेल कमांड चलाता है और मूल्यांकन स्क्रिप्ट या CLI उपकरण को बुलाने के लिए उपयोगी है।

from airflow.operators.bash import BashOperator

evaluate = BashOperator(
    task_id="evaluate",
    bash_command="python /opt/ml/evaluate.py --model latest",
)

निर्भरताएँ परिभाषित करना

>> संचालक कार्यों का क्रम निर्धारित करता है: a >> b का अर्थ है कि a के सफल होने के बाद b चलेगा। इससे DAG इस तरह जुड़ता है कि मूल्यांकन केवल प्रशिक्षण पूरा होने के बाद शुरू होता है।

train >> evaluate
# train must succeed before evaluate runs

लंबी निर्भरता शृंखलाएँ

आप पूरे कार्यप्रवाह का क्रम व्यक्त करने के लिए कई कार्यों को शृंखला में जोड़ सकते हैं। एयरफ़्लो स्वतंत्र शाखाओं को समानांतर चलाता है और आपके द्वारा घोषित हर निर्भरता का सम्मान करता है।

ingest >> features >> train >> evaluate >> deploy

XCom से डेटा भेजना

कार्य अलग-अलग चलते हैं, तो एक कार्य अपना परिणाम अगले कार्य तक कैसे पहुँचाए? एक्सकॉम (पारस्परिक संचार) किसी कार्य को एक छोटा मान (जैसे मॉडल पथ या कोई माप) भेजने देता है, जिसे बाद का कार्य प्राप्त कर सकता है।

def train_model(ti):
    path = "/models/run_42.pt"
    ti.xcom_push(key="model_path", value=path)

def deploy(ti):
    path = ti.xcom_pull(key="model_path", task_ids="train")
    # deploy the artifact at path

XCom छोटे डेटा के लिए है

एक्सकॉम छोटी सहायक जानकारी (पथ, आईडी, माप) के लिए है, बड़े डेटा-समुच्चयों के लिए नहीं। बड़ी निर्मित फ़ाइलें वस्तु भंडारण (एस3) में रखी जानी चाहिए और एक्सकॉम के माध्यम से केवल उनका स्थान भेजा जाना चाहिए। बड़े डेटा को एक्सकॉम में बार-बार भेजने से सहायक जानकारी वाला डेटाबेस दबाव में आ जाता है।

समय-सारणी और पुनः प्रयास

एयरफ़्लो बिना अतिरिक्त प्रयास के उत्पादन-स्तरीय मजबूती देता है: समय-सारणी स्वचालित रूप से प्रक्रियाएँ शुरू करती है, विफल कार्य बढ़ते अंतराल के साथ पुनः प्रयास करते हैं, और उपयोगकर्ता इंटरफ़ेस विफलता पर चेतावनी के साथ हर कार्य और प्रक्रिया की स्थिति दिखाता है।

त्वरित जाँच

एयरफ़्लो के अपने ज्ञान का परीक्षण कीजिए।

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावृत्ति

आपने एयरफ़्लो के साथ विस्तार योग्य मशीन लर्निंग कार्यप्रवाह सीखे:

DAG और समय-सारणी मिलकर कार्यप्रवाह परिभाषित करते हैं
PythonOperator प्रशिक्षण चलाता है; BashOperator मूल्यांकन चलाता है
>> संचालक कार्यों की निर्भरताएँ निर्धारित करता है
एक्सकॉम कार्यों के बीच छोटी निर्मित फ़ाइलें भेजता है; बड़ा डेटा वस्तु भंडारण में जाता है

शुरुआत निःशुल्क

एआई शिक्षक के साथ Python सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 53
पाठ: 225

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन” पाठ निःशुल्क है?

हाँ — पाइथन के साथ एआई सीखें अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। पाइथन के साथ एआई सीखें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन” में मैं क्या सीखूँगा?

DAG-आधारित पाइपलाइन, task dependencies और data ingestion → training → evaluation → deploy। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ पाइथन के साथ एआई सीखें का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या पाइथन के साथ एआई सीखें शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर पाइथन के साथ एआई सीखें शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 2वाँ पाठ है।

“Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस पाइथन के साथ एआई सीखें पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर पाइथन के साथ एआई सीखें पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

कृत्रिम बुद्धिमत्ता प्रणाली आर्किटेक्चर पैटर्न
Airflow के साथ स्केलेबल मशीन लर्निंग पाइपलाइन
Feature Stores: Feast और Tecton
कृत्रिम बुद्धिमत्ता प्रणाली की ऑब्ज़र्वेबिलिटी और निगरानी

← पाइथन के साथ एआई सीखें पर वापस जाएँ