CloudWatch में लॉग एकत्र करना

अमेज़न CloudWatch Logs एक प्रबंधित सेवा है जो आपके AWS संसाधनों और अनुप्रयोगों से लॉग डेटा एकत्रित, संग्रहीत और खोजती है। अलग-अलग सर्वरों पर पड़े रहने वाले लॉग्स के बजाय, जहाँ इंस्टेंस समाप्त होने पर वे खो सकते हैं, लॉग्स एक केंद्रीय और टिकाऊ स्थान पर पहुँचते हैं। सुरक्षा इंजीनियर के लिए इस केंद्रीकरण का यही मुख्य उद्देश्य है: जिसे आप देख नहीं सकते, उसका पता लगाना या जाँच करना संभव नहीं।

लॉग समूह एक ऐसा कंटेनर है जिसमें संबंधित लॉग डेटा रहता है और साझा सेटिंग्स निर्धारित होती हैं। आम तौर पर एक लॉग समूह एक अनुप्रयोग या सेवा को दर्शाता है, जैसे /aws/lambda/my-function। सुरक्षा के लिए दो सेटिंग्स सबसे महत्वपूर्ण हैं: रखने की अवधि, जो नियंत्रित करती है कि स्वचालित हटाए जाने से पहले लॉग्स कितने समय तक रखे जाएँ, और वैकल्पिक KMS कुंजी, जिसका उपयोग स्थिर डेटा को एन्क्रिप्ट करने के लिए किया जाता है।

लॉग समूह के भीतर, लॉग धारा किसी एक स्रोत से आने वाली घटनाओं का क्रम होती है, जैसे एक EC2 इंस्टेंस या एक लैम्ब्डा आह्वान वातावरण। घटनाएँ टाइमस्टैम्प और संदेश के साथ आती हैं। धाराओं के अनुसार विभाजन करने से स्रोत अलग रहते हैं, इसलिए आप गतिविधि को किसी विशिष्ट मूल स्रोत तक ट्रेस कर सकते हैं और फिर भी सब कुछ एक ही लॉग समूह के अंतर्गत तार्किक रूप से व्यवस्थित रख सकते हैं।

EC2 इंस्टेंस और परिसर-स्थ सर्वर अपने-आप लॉग नहीं भेजते। एकीकृत CloudWatch एजेंट होस्ट पर इंस्टॉल किया जाता है, ताकि ऑपरेटिंग सिस्टम, अनुप्रयोग और कस्टम लॉग फ़ाइलें CloudWatch Logs में भेजी जा सकें। यह मेमोरी और डिस्क उपयोग जैसे अतिरिक्त मेट्रिक्स भी एकत्रित करता है, जिन्हें हाइपरवाइज़र नहीं देख सकता। लॉग लिखने की अनुमति देने वाली IAM भूमिका एजेंट को आवश्यक होती है।

कई AWS सेवाएँ बिना किसी एजेंट के सीधे CloudWatch में लॉग लिखती हैं। लैम्ब्डा फ़ंक्शन का आउटपुट लिखता है, VPC फ़्लो लॉग्स किसी लॉग समूह को लक्ष्य बना सकते हैं, और रूट 53 DNS क्वेरीज़ का लॉग बना सकता है। CloudTrail घटनाओं को S3 के अतिरिक्त CloudWatch Logs तक भी पहुँचा सकता है। किन स्रोतों में एजेंट की आवश्यकता नहीं होती और किनमें एजेंट-आधारित व्यवस्था होती है, यह जानना परीक्षा में अक्सर पूछा जाने वाला अंतर है।

डिफ़ॉल्ट रूप से लॉग समूह डेटा हमेशा के लिए रखते हैं, जिससे आपका बिल चुपचाप बढ़ता रहता है। आप प्रत्येक लॉग समूह के लिए रखने की अवधि निर्धारित कर सकते हैं, जो एक दिन से दस वर्ष तक हो सकती है। सुरक्षा और अनुपालन के लिए अक्सर ऑडिट ट्रेल्स को लंबे समय तक रखना आवश्यक होता है, जबकि शोर पैदा करने वाले डीबग लॉग्स जल्दी समाप्त किए जा सकते हैं। दोनों के बीच संतुलन आपके ऑडिटरों और वित्त टीम, दोनों को संतुष्ट रखता है।

CloudWatch Logs डिफ़ॉल्ट रूप से स्थिर डेटा को एन्क्रिप्ट करता है, लेकिन अधिक नियंत्रण के लिए आप किसी लॉग समूह के साथ ग्राहक-प्रबंधित KMS कुंजी जोड़ सकते हैं। इससे आप कुंजी नीति के माध्यम से ठीक-ठीक नियंत्रित कर सकते हैं कि लॉग्स कौन पढ़ सकता है और कुंजी के उपयोग का ऑडिट योग्य रिकॉर्ड भी बनता है। क्रेडेंशियल्स या PII वाले संवेदनशील लॉग्स को इससे सबसे अधिक लाभ मिलता है।

सदस्यता फ़िल्टर मेल खाने वाली लॉग घटनाओं को लगभग वास्तविक समय में किसी अन्य गंतव्य, जैसे लैम्ब्डा, किनेसिस डेटा स्ट्रीम्स या अमेज़न OpenSearch, तक भेजता है। सुरक्षा टीमें इसका उपयोग घटनाएँ आते ही लॉग्स को SIEM या किसी केंद्रीय लॉगिंग खाते में भेजने के लिए करती हैं, बाद में समूह में निर्यात करने के लिए नहीं। इससे CloudWatch Logs एक लाइव डेटा पाइपलाइन बन जाता है।

दीर्घकालिक और कम लागत वाले संग्रह के लिए आप लॉग डेटा को अमेज़न S3 में निर्यात कर सकते हैं। S3 सस्ता संग्रहण, Glacier के लिए जीवनचक्र नियम और अपरिवर्तनीयता के लिए Object Lock प्रदान करता है। एक सामान्य तरीका यह है कि तेज़ खोज के लिए CloudWatch में कम अवधि तक डेटा रखें और वर्षों तक चलने वाले अनुपालन रिकॉर्ड के लिए उसे लॉक किए गए S3 बकेट में निर्यात करें।

CloudWatch Logs Insights एक विशेष रूप से तैयार की गई क्वेरी भाषा है, जिससे लॉग समूहों में संवादात्मक रूप से खोज की जाती है। आप कुछ भी निर्यात किए बिना विशाल मात्रा में डेटा पर फ़िल्टर, समूहीकरण और क्रमबद्धीकरण कर सकते हैं। जाँच के दौरान यह जल्दी से ऐसे सवालों के उत्तर देता है कि सबसे अधिक त्रुटियाँ किस IP ने उत्पन्न कीं, इसलिए गहन विश्लेषण के लिए Athena पर जाने से पहले यह एक तेज़ प्रारंभिक कदम है।

लॉगिंग पाइपलाइन स्वयं भी एक लक्ष्य होती है। CloudWatch एजेंट की भूमिका को केवल logs:CreateLogStream और logs:PutLogEvents की अनुमति दें, व्यापक अनुमतियाँ कभी नहीं। लॉग समूहों को इस तरह सुरक्षित रखें कि हमलावर गतिविधि छिपाने के लिए उन्हें हटा न सकें, और महत्वपूर्ण लॉग्स को तुरंत किसी अलग खाते में भेजें। जिस लॉग पर शुरू से अंत तक आपका नियंत्रण हो, वह ऐसा प्रमाण होता है जिस पर आप भरोसा कर सकते हैं।

CloudWatch Logs लॉग डेटा को लॉग समूहों में केंद्रीकृत करता है, जो लॉग धाराओं से बने होते हैं। EC2 और परिसर-स्थ होस्ट्स को एकीकृत एजेंट की आवश्यकता होती है, जबकि कई सेवाएँ मूल रूप से एकीकृत होती हैं। लागत नियंत्रित करने के लिए रखने की अवधि निर्धारित करें, संवेदनशील डेटा के लिए KMS कुंजी जोड़ें, और SIEM या संग्रह तक डेटा पहुँचाने के लिए सदस्यता फ़िल्टर या S3 निर्यात का उपयोग करें। पाइपलाइन को कड़ाई से सुरक्षित रखने पर आपका प्रमाण विश्वसनीय बना रहता है।