Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें · पाठ

उपभोक्ता लैग ट्रैक करना और अलर्ट देना

जानिए कि उपभोक्ता लैग का अर्थ क्या है, अंतर्निहित टूलों से इसे कैसे मापें और उपभोक्ताओं के खतरनाक रूप से पीछे रहने से पहले इस पर अलर्ट कैसे दें।

पाठ 4, कुल 4 में से13 चरण

उपभोक्ता लैग ट्रैक करना और अलर्ट देना, CoddyKit पर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें का एक निःशुल्क पाठ है। यह 4 में से 4वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

उपभोक्ता लैग क्या है

उपभोक्ता लैग किसी पार्टीशन में उत्पादित नवीनतम ऑफ़सेट (लॉग-अंत ऑफ़सेट) और उपभोक्ता समूह द्वारा कमिट किए गए ऑफ़सेट के बीच का अंतर है।

लैग बताता है कि आपके उपभोक्ता कितने पीछे चल रहे हैं। बढ़ता हुआ लैग दर्शाता है कि उपभोक्ता उत्पादकों की गति बनाए नहीं रख पा रहे हैं।

लैग क्यों महत्वपूर्ण है

अधिक लैग के वास्तविक दुष्परिणाम होते हैं:

आगे की प्रणालियों में पुराना डेटा (डैशबोर्ड, अलर्ट और ML सुविधाएँ)।
रिटेंशन सीमा तक पहुँचने और अनुपभुक्त संदेश खोने का जोखिम।
कम क्षमता वाले उपभोक्ताओं या अटके हुए पार्टीशन का संकेत।

CLI से लैग जाँचना

लैग देखने का सबसे तेज़ तरीका kafka-consumer-groups.sh के साथ --describe का उपयोग करना है।

kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --describe \
  --group order-processors

आउटपुट पढ़ना

विवरण आउटपुट प्रत्येक पार्टीशन के लिए ये स्तंभ दिखाता है:

CURRENT-OFFSET — अंतिम कमिट किया गया ऑफ़सेट।
LOG-END-OFFSET — पार्टीशन का नवीनतम ऑफ़सेट।
LAG — दोनों के बीच का अंतर।

कुल समूह लैग के लिए सभी पार्टीशन के LAG का योग करें।

JMX मेट्रिक्स के माध्यम से लैग

प्रत्येक उपभोक्ता consumer-fetch-manager-metrics समूह के अंतर्गत JMX के माध्यम से लैग उपलब्ध कराता है।

records-lag-max — असाइन किए गए पार्टीशन में अधिकतम लैग।
records-lag — प्रत्येक पार्टीशन का लैग।

ये क्लाइंट-पक्ष के मेट्रिक्स हैं और लगभग रीयल-टाइम में अपडेट होते हैं।

Burrow और Kafka Exporter

उत्पादन की निगरानी के लिए समर्पित टूल सभी समूहों का लैग जाँचते हैं:

Burrow — लैग की प्रवृत्ति का मूल्यांकन करता है और समूह की स्थिति (OK/WARN/ERR) बताता है।
kafka_exporter — लैग को Prometheus मेट्रिक्स के रूप में उपलब्ध कराता है।

Prometheus लैग मेट्रिक

kafka_exporter के साथ लैग लेबल वाले समय-क्रम के रूप में उपलब्ध होता है, जिसे आप Grafana में ग्राफ़ और अलर्ट के लिए उपयोग कर सकते हैं।

# Example Prometheus metric
kafka_consumergroup_lag{consumergroup="order-processors",topic="orders",partition="0"} 1423

लैग अलर्ट लिखना

क्षणिक उछाल पर नहीं, बल्कि लगातार बने रहने वाले अधिक लैग पर अलर्ट करें। एक सामान्य नियम तब सक्रिय होता है जब कुल लैग कई मिनट तक किसी सीमा से अधिक रहे।

# Prometheus alert rule
- alert: HighConsumerLag
  expr: sum(kafka_consumergroup_lag{consumergroup="order-processors"}) > 10000
  for: 5m
  labels:
    severity: warning

लैग दर बनाम निरपेक्ष लैग

केवल निरपेक्ष लैग भ्रामक हो सकता है—तेज़ विषय के लिए 10,000 संदेश कुछ सेकंड के डेटा के बराबर हो सकते हैं।

बदलाव की दर पर नज़र रखें: यदि लैग लगातार बढ़ता रहे, तो वर्तमान संख्याएँ ठीक दिखने पर भी उपभोक्ता पीछे छूट रहे हैं।

लैग घटाना

जब लैग बढ़े, तो आपके विकल्पों में शामिल हैं:

उपभोक्ता जोड़ें (पार्टीशन की संख्या तक)।
अधिक समानांतरता के लिए पार्टीशन बढ़ाएँ।
max.poll.records और प्रोसेसिंग की दक्षता समायोजित करें।
धीमे या अटके हुए पार्टीशन / समस्या पैदा करने वाले संदेश की जाँच करें।

परिचालन की सर्वोत्तम पद्धतियाँ

लैग को एक प्रमुख संकेतक बनाएँ:

हर महत्वपूर्ण समूह के कुल और प्रत्येक पार्टीशन के लैग का डैशबोर्ड बनाएँ।
केवल सीमाओं पर नहीं, लैग की प्रवृत्ति पर अलर्ट करें।
लैग को रिटेंशन अवधि से काफी कम रखें, ताकि डेटा कभी न खोएँ।

त्वरित जाँच

उपभोक्ता लैग की अपनी समझ जाँचें।

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावलोकन

आपने उपभोक्ता लैग को ट्रैक करना और उस पर अलर्ट करना सीखा।

लैग = लॉग-अंत ऑफ़सेट − कमिट किया गया ऑफ़सेट।
इसे kafka-consumer-groups.sh, JMX, Burrow या kafka_exporter के माध्यम से जाँचें।
लगातार बने रहने वाले लैग और लैग की वृद्धि दर पर अलर्ट करें।
उपभोक्ताओं/पार्टीशन को बढ़ाकर और प्रोसेसिंग को समायोजित करके लैग घटाएँ।

शुरुआत निःशुल्क

एआई शिक्षक के साथ Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 12
पाठ: 48

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “उपभोक्ता लैग ट्रैक करना और अलर्ट देना” पाठ निःशुल्क है?

हाँ — Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “उपभोक्ता लैग ट्रैक करना और अलर्ट देना” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“उपभोक्ता लैग ट्रैक करना और अलर्ट देना” में मैं क्या सीखूँगा?

जानिए कि उपभोक्ता लैग का अर्थ क्या है, अंतर्निहित टूलों से इसे कैसे मापें और उपभोक्ताओं के खतरनाक रूप से पीछे रहने से पहले इस पर अलर्ट कैसे दें। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 4वाँ पाठ है।

“उपभोक्ता लैग ट्रैक करना और अलर्ट देना” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पर वापस जाएँ