कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है
जानिए कि Kafka संदेशों को केवल जोड़ने योग्य कमिट लॉग के रूप में कैसे संग्रहीत करता है, ऑफ़सेट और अवधारण कैसे काम करते हैं और यह अभिकल्पना Kafka को तेज़ तथा टिकाऊ क्यों बनाती है।
कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है, CoddyKit पर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें का एक निःशुल्क पाठ है। यह 4 में से 4वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
Kafka एक लॉग है
मूल रूप से Kafka एक वितरित, केवल-जोड़ने योग्य कमिट लॉग है। उत्पादक अंत में डेटा जोड़ते हैं और डेटा को उसी स्थान पर कभी बदला नहीं जाता—यही इसकी गति और टिकाऊपन का रहस्य है।
केवल-जोड़ने योग्य लेखन
प्रत्येक रिकॉर्ड को क्रमिक रूप से किसी पार्टिशन के लॉग के अंत में लिखा जाता है। क्रमिक डिस्क लेखन यादृच्छिक लेखन की तुलना में बहुत तेज़ होता है और सस्ती डिस्क पर उच्च थ्रूपुट बनाए रखता है।
ऑफ़सेट
प्रत्येक रिकॉर्ड को लगातार बढ़ता हुआ ऑफ़सेट मिलता है—पार्टिशन में उसका स्थान। ऑफ़सेट किसी पार्टिशन के भीतर अद्वितीय होते हैं और उनका दोबारा उपयोग कभी नहीं किया जाता।
Partition 0: [off 0][off 1][off 2][off 3] -> next write off 4पठन डेटा हटाते नहीं हैं
क्यू के विपरीत, किसी रिकॉर्ड का उपभोग करने पर वह हटता नहीं है। कई उपभोक्ता उसी लॉग को स्वतंत्र रूप से पढ़ सकते हैं और प्रत्येक अपना ऑफ़सेट ट्रैक करता है।
लॉग सेगमेंट
पार्टिशन लॉग को डिस्क पर सेगमेंट फ़ाइलों में बाँटा जाता है। केवल सक्रिय सेगमेंट में लिखा जाता है; पुराने सेगमेंट अपरिवर्तनीय होते हैं और उन्हें हटाया या संक्षिप्त किया जा सकता है।
00000000000000000000.log
00000000000000010000.logसमय के आधार पर रिटेंशन
Kafka डेटा को एक विन्यस्त अवधि तक रखता है, चाहे उसका उपभोग हुआ हो या नहीं। डिफ़ॉल्ट रिटेंशन 7 दिन है।
retention.ms=604800000आकार के आधार पर रिटेंशन
आप किसी पार्टिशन के आकार की अधिकतम सीमा भी निर्धारित कर सकते हैं। समय या बाइट्स में से जो सीमा पहले पूरी होती है, वह पुराने सेगमेंट हटाने को सक्रिय करती है।
retention.bytes=1073741824लॉग संक्षिप्तीकरण
उम्र के आधार पर हटाने के बजाय, संक्षिप्तीकरण प्रत्येक कुंजी के लिए केवल नवीनतम रिकॉर्ड रखता है—यह चेंजलॉग विषयों के लिए आदर्श है, जहाँ आप प्रत्येक कुंजी का वर्तमान मान रखना चाहते हैं।
cleanup.policy=compactशून्य-कॉपी पठन
Kafka शून्य-कॉपी का उपयोग करके OS पेज कैश से सीधे नेटवर्क पर पठन डेटा भेजता है और अतिरिक्त मेमोरी कॉपी को छोड़ देता है। उपभोग इतना तेज़ होने का यह एक और प्रमुख कारण है।
फ़्लश और प्रतिकृतियों के माध्यम से टिकाऊपन
रिकॉर्ड टिकाऊ होते हैं क्योंकि उन्हें डिस्क पर लिखा जाता है और अन्य ब्रोकरों में उनकी प्रतिकृति बनाई जाती है। OS कैश खो जाने पर भी प्रतिकृतियाँ डेटा को सुरक्षित रखती हैं।
इसे एक साथ समझना
कमिट लॉग Kafka की विशेषताओं को समझाता है: गति के लिए क्रमिक लेखन, दोबारा पढ़े जा सकने वाले पठन के लिए ऑफ़सेट, संग्रहण के लिए रिटेंशन और संक्षिप्तीकरण, तथा टिकाऊपन के लिए प्रतिकृति।
त्वरित जाँच
कमिट लॉग की अपनी समझ जाँचिए।
पुनरावलोकन
आपने Kafka के संग्रहण के बारे में सीखा: स्थिर ऑफ़सेट वाला केवल-जोड़ने योग्य कमिट लॉग, ऐसा पठन जो डेटा नहीं हटाता, रिटेंशन और संक्षिप्तीकरण, तथा टिकाऊपन के लिए प्रतिकृति।
एआई शिक्षक के साथ Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 12
- पाठ
- 48
अक्सर पूछे जाने वाले प्रश्न
क्या “कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है” पाठ निःशुल्क है?
हाँ—“कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है” में मैं क्या सीखूँगा?
जानिए कि Kafka संदेशों को केवल जोड़ने योग्य कमिट लॉग के रूप में कैसे संग्रहीत करता है, ऑफ़सेट और अवधारण कैसे काम करते हैं और यह अभिकल्पना Kafka को तेज़ तथा टिकाऊ क्यों बनाती है। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 4वाँ पाठ है।
“कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर Apache Kafka और स्ट्रीम प्रसंस्करण की बुनियादी बातें पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- Apache Kafka क्या है
- Kafka की मूल अवधारणाएँ: ब्रोकर और विषय
- Kafka को स्थानीय रूप से सेट अप करना
- कमिट लॉग: Kafka डेटा कैसे संग्रहीत करता है