उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) · पाठ

स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन

जानिए कि Kubernetes आपके कंटेनरीकृत LLM सेवाओं के परिनियोजन का प्रबंधन, विस्तार और स्वचालन कैसे कर सकता है।

पाठ 2, कुल 4 में से11 चरण

स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन, CoddyKit पर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) का एक निःशुल्क पाठ है। यह 4 में से 2वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

LLM ऑर्केस्ट्रेशन के लिए K8s

LLM अनुप्रयोगों के ऑर्केस्ट्रेशन की इस सीख में आपका स्वागत है! अपने अनुप्रयोग को कंटेनर में पैक करने के बाद अगली चुनौती उन कंटेनरों को बड़े स्तर पर प्रबंधित करना है।

Kubernetes (K8s) एक मुक्त-स्रोत प्रणाली है, जो कंटेनर में पैक किए गए अनुप्रयोगों की तैनाती, स्केलिंग और प्रबंधन को स्वचालित करती है। इसे अपने डेटा केंद्र के ऑपरेटिंग सिस्टम की तरह समझिए, जिसे अनेक कंटेनरों को कुशलता से चलाने के लिए बनाया गया है।

एकल कंटेनरों से आगे

Docker आपके LLM अनुप्रयोग को पैकेज करने में मदद करता है, लेकिन उसे उत्पादन परिवेश में चलाने के लिए इससे अधिक सुविधाओं की आवश्यकता होती है:

कई प्रतिकृतियों का प्रबंधन: उपयोगकर्ताओं के भार को संभालने के लिए।
स्वतः सुधार: यदि कोई कंटेनर क्रैश हो जाए तो क्या होगा?
भार संतुलन: अनुरोधों को कई प्रतिकृतियों में बाँटना।
सेवा खोज: आपके LLM सिस्टम के अलग-अलग हिस्से एक-दूसरे को कैसे खोजेंगे?

Kubernetes इन जटिल चुनौतियों का समाधान करता है और आपके LLM अनुप्रयोग को मजबूत तथा विस्तार योग्य बनाता है।

K8s के निर्माण खंड: पॉड

Kubernetes में तैनात की जा सकने वाली सबसे छोटी इकाई पॉड है। एक पॉड में एक या अधिक कंटेनर हो सकते हैं, जो नेटवर्क, स्टोरेज और जीवनचक्र साझा करते हैं।

आपका LLM अनुमान कंटेनर सामान्यतः एक पॉड के भीतर चलेगा।
यदि आपके LLM अनुप्रयोग में साइडकार (जैसे, लॉगिंग एजेंट) है, तो वह उसी पॉड में चल सकता है।

पॉड अस्थायी होते हैं; Kubernetes उन्हें बना, नष्ट और फिर से शेड्यूल कर सकता है।

डिप्लॉयमेंट से पॉड प्रबंधित करना

पॉड को सीधे प्रबंधित करना कठिन होता है। यहीं डिप्लॉयमेंट काम आते हैं। डिप्लॉयमेंट आपके अनुप्रयोग की वांछित स्थिति का वर्णन करता है, जैसे:

एक जैसी कितनी पॉड (प्रतिकृतियाँ) चलनी चाहिए।
आपके LLM अनुप्रयोग के लिए किस कंटेनर इमेज का उपयोग करना है।
बिना सेवा बाधित किए अनुप्रयोग को कैसे अपडेट करना है।

डिप्लॉयमेंट यह सुनिश्चित करते हैं कि आपके द्वारा निर्दिष्ट संख्या में LLM अनुप्रयोग की पॉड हमेशा चलती रहें।

अपने LLM अनुप्रयोग तक पहुँचना: सेवाएँ

पॉड अस्थायी होते हैं और उनके IP पते बदल सकते हैं। उपयोगकर्ता या अन्य सेवाएँ आपके LLM अनुप्रयोग तक लगातार कैसे पहुँचेंगी?

एक सेवा, पॉड के समूह के लिए एक स्थिर नेटवर्क एंडपॉइंट (निश्चित IP पता और DNS नाम) उपलब्ध कराती है। यह भार संतुलक की तरह काम करती है और डिप्लॉयमेंट द्वारा प्रबंधित स्वस्थ पॉड में आने वाले अनुरोध बाँटती है।

अपने LLM अनुप्रयोग को स्केल करना

Kubernetes की सबसे शक्तिशाली सुविधाओं में से एक स्वचालित स्केलिंग है। LLM अनुप्रयोगों के लिए बदलती माँग को संभालने में यह अत्यंत महत्वपूर्ण है।

Horizontal Pod Autoscaler (HPA), डिप्लॉयमेंट में पॉड प्रतिकृतियों की संख्या को स्वचालित रूप से बढ़ा या घटा सकता है।
यह CPU उपयोग, मेमोरी उपयोग या कस्टम मेट्रिक (जैसे, आपके LLM एंडपॉइंट पर प्रति सेकंड आने वाले अनुरोध) जैसे मेट्रिक के आधार पर स्केल करता है।

इससे यह सुनिश्चित होता है कि आपके LLM अनुप्रयोग में बिना मैन्युअल हस्तक्षेप के हमेशा पर्याप्त क्षमता उपलब्ध रहे।

स्वतः सुधार और विश्वसनीयता

Kubernetes को लचीलेपन के लिए बनाया गया है। यदि आपकी LLM सेवा चलाने वाली कोई पॉड क्रैश हो जाए, तो Kubernetes:

विफलता का स्वतः पता लगाएगा।
अस्वस्थ पॉड को समाप्त करेगा।
उसके स्थान पर एक नई, स्वस्थ पॉड बनाएगा।

स्वतः सुधार की यह क्षमता उत्पादन में आपके LLM अनुप्रयोगों की विश्वसनीयता और उपलब्धता को बहुत बढ़ा देती है।

रोलआउट से अनुप्रयोग अपडेट करना

अपने LLM मॉडल या अनुप्रयोग कोड के नए संस्करणों को सहज ढंग से तैनात करना आवश्यक है। Kubernetes के क्रमिक अपडेट आपको बिना किसी सेवा बाधा के अनुप्रयोग अपडेट करने देते हैं।

सभी पुरानी पॉड को एक साथ बंद करने के बजाय Kubernetes धीरे-धीरे पुरानी पॉड को नई पॉड से बदलता है। इससे यह सुनिश्चित होता है कि अनुरोधों को संभालने के लिए स्वस्थ पॉड की न्यूनतम संख्या हमेशा उपलब्ध रहे।

K8s डिप्लॉयमेंट का अवलोकन

यहाँ एक वैचारिक उदाहरण दिया गया है कि YAML का उपयोग करके Kubernetes में एक सरल LLM अनुप्रयोग कैसे परिभाषित किया जा सकता है। इससे एक डिप्लॉयमेंट और एक सेवा बनती है।

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-llm-app-deployment
spec:
  replicas: 2
  selector:
    matchLabels:
      app: my-llm-app
  template:
    metadata:
      labels:
        app: my-llm-app
    spec:
      containers:
      - name: llm-container
        image: your-org/my-llm-app:v1.0
        ports:
        - containerPort: 8000
---
apiVersion: v1
kind: Service
metadata:
  name: my-llm-app-service
spec:
  selector:
    app: my-llm-app
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8000
  type: LoadBalancer

K8s अवधारणाओं की जाँच

आपके LLM अनुप्रयोग के लिए एक जैसी पॉड की वांछित संख्या लगातार चलती और अपडेट होती रहे, यह सुनिश्चित करने के लिए मुख्य रूप से Kubernetes का कौन-सा घटक जिम्मेदार होता है?

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावलोकन और अगले चरण

आपने अपने कंटेनर में पैक किए गए LLM अनुप्रयोगों के ऑर्केस्ट्रेशन के लिए Kubernetes की शक्ति का पता लगाया!

K8s स्वचालित स्केलिंग, स्वतः सुधार और सहज अपडेट सक्षम करता है।
पॉड, डिप्लॉयमेंट और सेवाओं जैसे प्रमुख घटक आपके अनुप्रयोग को प्रबंधित करने के लिए मिलकर काम करते हैं।

अब हम आपके LLM अनुप्रयोगों के परीक्षण और रिलीज़ चक्रों को स्वचालित करने के लिए सतत एकीकरण और सतत तैनाती (CI/CD) पाइपलाइन स्थापित करना सीखेंगे।

शुरुआत निःशुल्क

एआई शिक्षक के साथ उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 12
पाठ: 48

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन” पाठ निःशुल्क है?

हाँ—“स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन” में मैं क्या सीखूँगा?

जानिए कि Kubernetes आपके कंटेनरीकृत LLM सेवाओं के परिनियोजन का प्रबंधन, विस्तार और स्वचालन कैसे कर सकता है। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 2वाँ पाठ है।

“स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

Docker के साथ LLM ऐप्लिकेशन को कंटेनरीकृत करना
स्केलेबिलिटी के लिए Kubernetes के साथ ऑर्केस्ट्रेशन
LLM ऐप्लिकेशन परिनियोजन के लिए CI/CD
परिनियोजन में कॉन्फ़िगरेशन और रहस्यों का प्रबंधन

← उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पर वापस जाएँ