सर्वररहित AWS Lambda विकास · पाठ

Kinesis के साथ रीयल-टाइम प्रोसेसिंग

Lambda फ़ंक्शन का उपयोग करके Amazon Kinesis Data Streams और Kinesis Firehose से डेटा की बड़ी धाराओं को रीयल टाइम में ग्रहण, प्रोसेस और वितरित करना सीखिए।

पाठ 3, कुल 4 में से11 चरण

Kinesis के साथ रीयल-टाइम प्रोसेसिंग, CoddyKit पर सर्वररहित AWS Lambda विकास का एक निःशुल्क पाठ है। यह 4 में से 3वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह सर्वररहित AWS Lambda विकास सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। सर्वररहित AWS Lambda विकास पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

रीयल-टाइम डेटा क्यों महत्वपूर्ण है

आज की तेज़-रफ़्तार दुनिया में कई अनुप्रयोगों को डेटा पर तुरंत प्रतिक्रिया देने की आवश्यकता होती है। इसे रीयल-टाइम डेटा प्रोसेसिंग कहा जाता है।

तुरंत जानकारी: डेटा आते ही उसका विश्लेषण करें।
त्वरित प्रतिक्रियाएँ: बिना देरी के कार्रवाइयाँ सक्रिय करें।
बेहतर उपयोगकर्ता अनुभव: तुरंत सामग्री को व्यक्तिगत बनाएँ।

धोखाधड़ी का पता लगाने, लाइव डैशबोर्ड या IoT उपकरणों की निगरानी के बारे में सोचें।

Amazon Kinesis का परिचय

Amazon Kinesis, रीयल-टाइम में स्ट्रीमिंग डेटा एकत्र करने, संसाधित करने और उसका विश्लेषण करने के लिए बनाई गई सेवाओं का एक शक्तिशाली समूह है। यह आपको बड़ी मात्रा में डेटा को कुशलतापूर्वक संभालने में मदद करता है।

Kinesis की प्रमुख सेवाओं में शामिल हैं:

Kinesis Data Streams (KDS): सूक्ष्म स्तर पर नियंत्रण चाहने वाले कस्टम अनुप्रयोगों के लिए।
Kinesis Firehose: S3 या Redshift जैसे डेटा संग्रहों तक आसान डिलीवरी के लिए।

Kinesis Data Streams (KDS)

Kinesis Data Streams (KDS) उच्च-थ्रूपुट डेटा के लिए एक निरंतर पाइपलाइन जैसा है। यह विभिन्न स्रोतों से डेटा ग्रहण करता है और उसे अलग-अलग अनुप्रयोगों द्वारा संसाधित किए जाने के लिए उपलब्ध कराता है।

KDS डेटा को शार्ड में व्यवस्थित करता है। शार्ड थ्रूपुट की मूल इकाई है। डेटा उत्पादक शार्ड में लिखते हैं और डेटा उपभोक्ता उनसे पढ़ते हैं।

KDS में डेटा उत्पादित करना

अनुप्रयोग PutRecord या PutRecords जैसी कार्रवाइयों का उपयोग करके KDS में डेटा भेजते हैं। प्रत्येक रिकॉर्ड में एक पार्टिशन कुंजी होती है, जिसका उपयोग KDS डेटा को समूहित करके किसी विशिष्ट शार्ड तक पहुँचाने के लिए करता है।

एक अच्छी पार्टिशन कुंजी शार्ड के बीच डेटा का समान वितरण सुनिश्चित करती है, जिससे हॉट स्पॉट रुकते हैं और थ्रूपुट अधिकतम होता है।

KDS उपभोक्ता के रूप में Lambda

AWS Lambda फ़ंक्शन Kinesis Data Streams के उत्कृष्ट उपभोक्ता हैं। आप Lambda इवेंट स्रोत मैपिंग को इस प्रकार कॉन्फ़िगर कर सकते हैं कि KDS स्ट्रीम में नए डेटा रिकॉर्ड उपलब्ध होते ही आपका फ़ंक्शन अपने-आप सक्रिय हो जाए।

Lambda स्ट्रीम को पोल करता है, रिकॉर्ड को बैच में पढ़ता है और उन्हें संसाधित करने के लिए आपके फ़ंक्शन को भेजता है। इससे रीयल-टाइम प्रोसेसर बनाना बहुत कुशल हो जाता है।

Kinesis रिकॉर्ड संसाधित करना

यहाँ एक सरल पायथन Lambda फ़ंक्शन है, जो Kinesis Data Stream से रिकॉर्ड संसाधित करता है। यह इवेंट में मौजूद रिकॉर्ड पर क्रम से चलता है और उनका डेटा प्रिंट करता है।

इस उदाहरण को चलाकर देखें:

import base64
import json

def lambda_handler(event, context):
    for record in event['Records']:
        # Kinesis data is base64 encoded
        payload = base64.b64decode(record['kinesis']['data']).decode('utf-8')
        print(f"Processed record: {payload}")
        
    return {'statusCode': 200}

डिलीवरी के लिए Kinesis Firehose

Kinesis Firehose रीयल-टाइम स्ट्रीमिंग डेटा को Amazon S3, Amazon Redshift, Amazon OpenSearch Service या HTTP एंडपॉइंट जैसे गंतव्यों तक पहुँचाने वाली पूरी तरह प्रबंधित सेवा है।

KDS के विपरीत, Firehose को लगभग किसी प्रशासन की आवश्यकता नहीं होती। आप केवल एक डिलीवरी स्ट्रीम बनाते हैं, अपना स्रोत और गंतव्य निर्दिष्ट करते हैं, और Firehose स्केलिंग, बफ़रिंग तथा डिलीवरी का काम संभालता है।

Firehose के गंतव्य

Firehose को सरल डेटा डिलीवरी के लिए बनाया गया है। यह आपके चुने हुए गंतव्य पर भेजने से पहले डेटा को अपने-आप बैच में बाँटता, संपीड़ित और एन्क्रिप्ट करता है।

सामान्य गंतव्यों में शामिल हैं:

Amazon S3: दीर्घकालिक संग्रहण और डेटा लेक के लिए।
Amazon Redshift: डेटा वेयरहाउसिंग और विश्लेषण के लिए।
Amazon OpenSearch Service: लॉगिंग और खोज के लिए।
HTTP एंडपॉइंट: कस्टम एकीकरण के लिए।

Firehose और Lambda से डेटा रूपांतरित करना

Kinesis Firehose, अंतिम गंतव्य तक पहुँचाने से पहले आने वाले डेटा को रूपांतरित करने के लिए Lambda के साथ एकीकृत हो सकता है। डेटा को तुरंत साफ़ करने, समृद्ध करने या फिर से स्वरूपित करने के लिए यह बहुत उपयोगी है।

आप अपनी Firehose डिलीवरी स्ट्रीम में Lambda फ़ंक्शन कॉन्फ़िगर करते हैं और Firehose प्रत्येक रिकॉर्ड बैच के लिए उसे सक्रिय करता है। बदले में वह रूपांतरित रिकॉर्ड की अपेक्षा करता है।

Kinesis सेवा तुलना

कौन-से कथन Kinesis Data Streams (KDS) और Kinesis Firehose के अंतर या उपयोगों का सही वर्णन करते हैं?

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावलोकन और अगले चरण

आपने रीयल-टाइम डेटा प्रोसेसिंग की एक प्रमुख सेवा Amazon Kinesis के बारे में सीखा है।

Kinesis Data Streams (KDS): कस्टम अनुप्रयोगों के लिए लचीली, शार्ड-आधारित स्ट्रीमिंग प्रदान करता है, जिसका अक्सर Lambda उपभोग करता है।
Kinesis Firehose: वैकल्पिक Lambda रूपांतरण के साथ विभिन्न गंतव्यों तक स्ट्रीमिंग डेटा पहुँचाने का प्रबंधित समाधान देता है।

Lambda के साथ मिलकर ये सेवाएँ विशाल डेटा स्ट्रीम संभालने वाले शक्तिशाली इवेंट-आधारित आर्किटेक्चर सक्षम करती हैं।

शुरुआत निःशुल्क

एआई शिक्षक के साथ सर्वररहित AWS Lambda विकास सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 12
पाठ: 48

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “Kinesis के साथ रीयल-टाइम प्रोसेसिंग” पाठ निःशुल्क है?

हाँ—“Kinesis के साथ रीयल-टाइम प्रोसेसिंग” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और सर्वररहित AWS Lambda विकास पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। सर्वररहित AWS Lambda विकास पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“Kinesis के साथ रीयल-टाइम प्रोसेसिंग” में मैं क्या सीखूँगा?

Lambda फ़ंक्शन का उपयोग करके Amazon Kinesis Data Streams और Kinesis Firehose से डेटा की बड़ी धाराओं को रीयल टाइम में ग्रहण, प्रोसेस और वितरित करना सीखिए। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ सर्वररहित AWS Lambda विकास का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या सर्वररहित AWS Lambda विकास शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर सर्वररहित AWS Lambda विकास शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 3वाँ पाठ है।

“Kinesis के साथ रीयल-टाइम प्रोसेसिंग” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस सर्वररहित AWS Lambda विकास पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर सर्वररहित AWS Lambda विकास पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← सर्वररहित AWS Lambda विकास पर वापस जाएँ