AWS Security Academy · पाठ

गति और लागत के लिए लॉग का विभाजन

डेटा को इस तरह व्यवस्थित करें कि जांच तेज हो और लागत कम आए।

पाठ 4, कुल 4 में से13 चरण

गति और लागत के लिए लॉग का विभाजन, CoddyKit पर AWS Security Academy का एक निःशुल्क पाठ है। यह 4 में से 4वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह AWS Security Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। AWS Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

स्कैनिंग की लागत

क्योंकि Athena स्कैन किए गए डेटा के आधार पर शुल्क लेता है, इसलिए एक दिन के इवेंट खोजने के लिए पूरे वर्ष के लॉग की क्वेरी करना समय और धन की बर्बादी है। विभाजन वह तकनीक है जिससे Athena केवल डेटा के प्रासंगिक हिस्से को पढ़ता है और क्वेरियाँ बहुत तेज़ तथा सस्ती हो जाती हैं। यह Athena के लिए सबसे महत्वपूर्ण अनुकूलन है।

विभाजन क्या होता है

एक partition तालिका के डेटा को एक या अधिक कॉलम के मानों के आधार पर बाँटता है। आम तौर पर दिनांक के घटकों को S3 प्रीफ़िक्स से मैप किया जाता है। CloudTrail लॉग पहले से ही region/year/month/day के अनुसार व्यवस्थित होते हैं, इसलिए इन्हीं के आधार पर विभाजन करने से भौतिक संरचना का मेल बैठता है और Athena आपकी क्वेरी के बाहर आने वाले फ़ोल्डर छोड़ सकता है।

विभाजन छँटाई

जब कोई क्वेरी किसी विभाजन कॉलम पर फ़िल्टर लगाती है, तो Athena विभाजन छँटाई करता है: वह केवल मेल खाने वाले प्रीफ़िक्स पढ़ता है और बाकी को अनदेखा कर देता है। उचित विभाजनों के साथ एक दिन की क्वेरी बकेट के बहुत छोटे हिस्से को स्कैन करती है। छँटाई के बिना वही क्वेरी सब कुछ स्कैन करती, जिसमें वह डेटा भी शामिल होता जिसकी उसे आवश्यकता हो ही नहीं सकती।

विभाजन मैन्युअल रूप से जोड़ना

विभाजन पंजीकृत करने का एक तरीका ALTER TABLE ADD PARTITION है, जिसमें किसी विभाजन मान को उसके S3 स्थान से मैप किया जाता है। यह तरीका काम करता है, लेकिन दैनिक लॉग डेटा के लिए थकाऊ है, क्योंकि आपको हर दिन एक विभाजन जोड़ना पड़ेगा। कभी-कभार पुराने डेटा को लोड करने के लिए यह ठीक है, लेकिन लगातार आने वाले लॉग के लिए इसका विस्तार करना कठिन है।

विभाजन प्रक्षेपण

विभाजन प्रक्षेपण आधुनिक और अनुशंसित तरीका है: आप Athena को विभाजन का पैटर्न बताते हैं, जैसे किसी सीमा के भीतर की तिथियाँ, और वह कैटलॉग में प्रत्येक विभाजन संग्रहीत किए बिना क्वेरी के समय प्रीफ़िक्स की गणना कर लेता है। लगातार बढ़ते CloudTrail और फ़्लो लॉग डेटा के लिए इससे निरंतर रखरखाव से बचा जा सकता है और छँटाई अपने-आप होती रहती है।

TBLPROPERTIES (
  'projection.enabled'='true',
  'projection.dt.type'='date',
  'projection.dt.range'='2023/01/01,NOW',
  'projection.dt.format'='yyyy/MM/dd'
)

विभाजनों के लिए Glue Crawler

एक Glue crawler निर्धारित समय-सारणी पर नए विभाजन खोजकर उन्हें कैटलॉग में जोड़ सकता है। इससे बदलते डेटा के लिए विभाजन प्रबंधन स्वचालित हो जाता है, हालांकि पूर्वानुमानित दिनांक-आधारित लेआउट के लिए विभाजन प्रक्षेपण आम तौर पर सरल होता है और crawler की कोई लागत नहीं लगती।

कॉलम-आधारित प्रारूप से बचत में वृद्धि

विभाजन यह सीमित करता है कि कौन-सी फ़ाइलें पढ़ी जाएँगी; Parquet जैसे कॉलम-आधारित प्रारूप इन फ़ाइलों के भीतर पढ़े जाने वाले कॉलम सीमित करते हैं। दोनों को मिलाकर—लॉग को Parquet में बदलकर और दिनांक के आधार पर विभाजित करके—स्कैन किए गए डेटा में कई गुना कमी लाई जा सकती है। कई टीमें अधिक मात्रा वाले लॉग की क्वेरी-अनुकूल प्रतियाँ संग्रहीत करने के लिए रूपांतरण कार्य चलाती हैं।

संपीड़न

GZIP या Snappy जैसे प्रारूपों से लॉग डेटा को संपीड़ित करने पर स्कैन किए जाने वाले बाइट और संग्रहण लागत और कम हो जाती है। Athena संपीड़ित फ़ाइलों को पारदर्शी रूप से पढ़ता है। विभाजन और कॉलम-आधारित संग्रहण के साथ मिलकर संपीड़न उन तीन तकनीकों में अंतिम कड़ी है जो बड़े पैमाने पर लॉग विश्लेषण को किफ़ायती बनाती हैं।

सुरक्षा के लिए विभाजन तैयार करना

सुरक्षा लॉग के लिए मुख्य रूप से date के आधार पर विभाजन करें, क्योंकि जाँच-पड़ताल समय-सीमित होती है। संगठन ट्रेल के लिए account or region के आधार पर भी विभाजन करने पर विचार करें, ताकि आप किसी एक खाते को तुरंत लक्ष्य बना सकें। सही विभाजन कुंजियाँ इस बात का प्रतिबिंब होती हैं कि आपकी जाँच-पड़ताल वास्तव में कैसे फ़िल्टर करती है और वास्तविक क्वेरियों के लिए छँटाई को अधिकतम करती हैं।

स्कैन के मेट्रिक पर नज़र रखना

Athena प्रत्येक क्वेरी में स्कैन किए गए डेटा की मात्रा बताता है। इस मेट्रिक पर नज़र रखने से पता चलता है कि विभाजन काम कर रहा है या नहीं: अच्छी तरह विभाजित और समय-सीमित क्वेरी को टेराबाइट नहीं, बल्कि मेगाबाइट स्कैन करने चाहिए। यदि कोई क्वेरी अपेक्षा से बहुत अधिक स्कैन करती है, तो संभवतः आपका फ़िल्टर विभाजन कॉलम के अनुरूप नहीं है।

अनुकूलन को एक साथ लागू करना

अनुकूलन की शृंखला में अप्रासंगिक डेटा छोड़ने के लिए partition, केवल आवश्यक कॉलम पढ़ने के लिए columnar format और बाइट घटाने के लिए compression शामिल हैं। CloudTrail और फ़्लो लॉग पर लागू करने पर ये तकनीकें धीमे और महँगे स्कैन को तेज़ और सस्ती जाँच-पड़ताल में बदल देती हैं—ठीक वही जिसकी बड़े पैमाने के सुरक्षा विश्लेषण को आवश्यकता होती है।

त्वरित जाँच

विभाजन से जुड़ी अपनी जानकारी जाँचें।

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावलोकन

Partitioning कॉलम (आमतौर पर दिनांक) के आधार पर तालिका के डेटा को बाँटता है, ताकि Athena partition pruning कर सके और केवल प्रासंगिक प्रीफ़िक्स स्कैन करे। इससे लागत और समय दोनों घटते हैं। बढ़ते लॉग के लिए मैन्युअल ADD PARTITION या crawler की अपेक्षा partition projection को प्राथमिकता दें। बहुत अधिक बचत के लिए विभाजनों को columnar Parquet और compression के साथ मिलाएँ, सुरक्षा लॉग को date और account के आधार पर विभाजित करें और data-scanned मेट्रिक पर नज़र रखें।

शुरुआत निःशुल्क

एआई शिक्षक के साथ AWS Security Academy सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 30
पाठ: 120

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “गति और लागत के लिए लॉग का विभाजन” पाठ निःशुल्क है?

हाँ—“गति और लागत के लिए लॉग का विभाजन” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और AWS Security Academy पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। AWS Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“गति और लागत के लिए लॉग का विभाजन” में मैं क्या सीखूँगा?

डेटा को इस तरह व्यवस्थित करें कि जांच तेज हो और लागत कम आए। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ AWS Security Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या AWS Security Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर AWS Security Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 4वाँ पाठ है।

“गति और लागत के लिए लॉग का विभाजन” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस AWS Security Academy पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर AWS Security Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← AWS Security Academy पर वापस जाएँ