تقسيم السجلات لتحسين السرعة والتكلفة

بما أن Athena تفرض الرسوم حسب البيانات المفحوصة، فإن الاستعلام عن سجلات عام كامل للعثور على أحداث يوم واحد يهدر المال والوقت. ويُعد التقسيم الأسلوب الذي يتيح لـ Athena قراءة الجزء ذي الصلة من البيانات فقط، مما يجعل الاستعلامات أسرع وأقل تكلفة بدرجة كبيرة. وهو أهم تحسين منفرد في Athena.

يقسم القسم بيانات الجدول حسب قيم عمود واحد أو أكثر، وعادةً ما تكون مكونات التاريخ، مع ربطها ببادئات S3. وتُنظم سجلات CloudTrail مسبقًا حسب region/year/month/day، لذا فإن تقسيمها وفق هذه القيم يطابق البنية الفعلية، ويتيح لـ Athena تجاوز المجلدات الواقعة خارج نطاق الاستعلام.

عندما يصفّي الاستعلام حسب عمود مقسم، تنفذ Athena عملية تشذيب الأقسام: فتقرأ البادئات المطابقة فقط وتتجاهل الباقي. ويقرأ استعلام ليوم واحد، مع استخدام أقسام صحيحة، جزءًا ضئيلًا من الحاوية. أما دون التشذيب، فسيقرأ الاستعلام نفسه كل شيء، حتى البيانات التي يستحيل أن يحتاج إليها.

تتمثل إحدى طرق تسجيل الأقسام في استخدام ALTER TABLE ADD PARTITION، مع ربط قيمة القسم بموقعها في S3. وينجح هذا الأسلوب، لكنه مرهق بالنسبة إلى بيانات السجلات اليومية، إذ ستحتاجون إلى إضافة قسم كل يوم. وهو مناسب للتحميلات التاريخية لمرة واحدة، لكنه لا يتوسع مع السجلات المستمرة.

يُعد إسقاط الأقسام الأسلوب الحديث الموصى به: إذ تحددون لـ Athena نمط الأقسام، مثل التواريخ ضمن نطاق معين، فتحسب البادئات وقت تنفيذ الاستعلام دون تخزين كل قسم في الكتالوج. وبالنسبة إلى بيانات CloudTrail وFlow Logs التي تنمو باستمرار، يتجنب هذا الأسلوب الصيانة المتواصلة ويحافظ على أتمتة التشذيب.

يمكن لبرنامج Glue crawler أيضًا اكتشاف الأقسام الجديدة وفق جدول زمني وإضافتها إلى الكتالوج. ويؤتمت هذا إدارة الأقسام للبيانات المتغيرة، إلا أن إسقاط الأقسام يكون عادةً أبسط في التخطيطات المتوقعة القائمة على التواريخ، كما أنه لا يفرض تكلفة crawler.

يحد التقسيم من الملفات التي تُقرأ، بينما تحد التنسيقات العمودية مثل Parquet من الأعمدة التي تُقرأ داخل تلك الملفات. ويمكن للجمع بين الأسلوبين، أي تحويل السجلات إلى Parquet وتقسيمها حسب التاريخ، أن يخفض البيانات المفحوصة بمراتب كبيرة. وتشغّل فرق كثيرة مهمة تحويل لتخزين نسخ محسّنة للاستعلام من السجلات كبيرة الحجم.

يؤدي ضغط بيانات السجلات باستخدام تنسيقات مثل GZIP أو Snappy إلى تقليل وحدات البايت المفحوصة وتكلفة التخزين بدرجة أكبر. وتقرأ Athena الملفات المضغوطة بشفافية. ومع التقسيم والتخزين العمودي، يكمل الضغط مجموعة التقنيات الثلاث التي تجعل تحليل السجلات على نطاق واسع ميسور التكلفة.

بالنسبة إلى سجلات الأمان، قسّموا البيانات أساسًا حسب التاريخ لأن التحقيقات محددة زمنيًا، وفكروا في التقسيم حسب الحساب أو المنطقة لمسارات المؤسسة، حتى تتمكنوا من استهداف حساب واحد بسرعة. ويعكس اختيار مفاتيح الأقسام الصحيح الطريقة الفعلية التي تُجرى بها التصفية في تحقيقاتكم، مما يزيد التشذيب إلى أقصى حد في الاستعلامات الفعلية.

تعرض Athena مقدار البيانات المفحوصة في كل استعلام. وتوضح لكم مراقبة هذا المقياس ما إذا كان التقسيم يعمل: فمن المفترض أن يفحص الاستعلام المحدد زمنيًا والمقسم جيدًا ميغابايت، لا تيرابايت. وإذا فحص الاستعلام كمية أكبر بكثير من المتوقع، فمن المحتمل أن تكون التصفية غير متوافقة مع أعمدة الأقسام.

تتكون منظومة التحسين من التقسيم لتجاوز البيانات غير ذات الصلة، والتنسيق العمودي لقراءة الأعمدة المطلوبة فقط، والضغط لتقليل عدد وحدات البايت. وعند تطبيق هذه الأساليب على CloudTrail وFlow Logs، فإنها تحول عمليات الفحص البطيئة والمكلفة إلى تحقيقات سريعة ومنخفضة التكلفة، وهو ما يتطلبه تحليل الأمان على نطاق واسع.

اختبروا معرفتكم بتقسيم البيانات.

يقسم التقسيم بيانات الجدول حسب الأعمدة (وعادةً حسب التاريخ)، كي تنفذ Athena تشذيب الأقسام وتفحص البادئات ذات الصلة فقط، مما يقلل التكلفة والوقت. فضّلوا إسقاط الأقسام على ADD PARTITION اليدوي أو برامج crawler للسجلات المتنامية. واجمعوا بين الأقسام وParquet العمودي والضغط لتحقيق وفورات هائلة، وقسّموا سجلات الأمان حسب التاريخ والحساب، وراقبوا مقياس البيانات المفحوصة.