الاستعلام عن سجلات S3 باستخدام Athena

إن Amazon Athena خدمة استعلام تفاعلية بلا خوادم، تشغّل SQL القياسي مباشرةً على البيانات المخزنة في Amazon S3. لا توجد قاعدة بيانات يلزم توفيرها أو إدارتها؛ فما عليكم سوى توجيه Athena إلى البيانات في S3، وتحديد مخطط، ثم إجراء الاستعلام. وهذا يجعلها مثالية لتحليل ملفات السجلات الضخمة التي تنتجها AWS.

تعمل Athena بلا خوادم، وتدفعون مقابل كل استعلام بناءً على كمية البيانات التي جرى فحصها. ولا توجد تكلفة خاملة عندما لا تجرون استعلامات. يشجع نموذج التسعير هذا على إجراء استعلامات فعالة وتنظيم البيانات جيدًا، لأن فحص كمية أقل من البيانات أسرع وأقل تكلفة، وهو مبدأ يتكرر طوال استخدام Athena.

تنتج الأمانة جبالًا من السجلات: CloudTrail وVPC Flow Logs وسجلات وصول ALB وغيرها، وكلها تصل إلى S3. تتيح لكم Athena فحصها باستخدام SQL المألوف بدلًا من بناء مسار بيانات. وأثناء وقوع حادثة، يمكنكم البحث في سجل يمتد لأشهر ويشمل مليارات السجلات خلال دقائق، وهذا بالضبط ما تتطلبه التحقيقات.

تستخدم Athena أسلوب schema-on-read: تحددون مخطط جدول يصف كيفية تفسير الملفات في S3، ويُطبَّق المخطط عند إجراء الاستعلام، لا عند تخزين البيانات. ولا تُعدَّل ملفات السجلات الخام مطلقًا. وهذا يعني أنه يمكنكم إضافة جداول وطرق عرض جديدة فوق السجلات نفسها غير المعدلة في أي وقت.

تقرأ Athena تعريفات الجداول من AWS Glue Data Catalog، وهو مخزن مركزي للبيانات الوصفية. يربط الجدول موقعًا في S3 وتنسيقًا بمجموعة من الأعمدة والأنواع. وبعد فهرسة الجدول، يصبح متاحًا لـ Athena وخدمات التحليلات الأخرى، مما يمنحكم تعريفًا مشتركًا واحدًا لبيانات السجلات.

تستعلم Athena عن العديد من التنسيقات: JSON وCSV وApache Parquet وORC وAvro. تكون سجلات CloudTrail بتنسيق JSON، بينما تكون Flow Logs نصًا مفصولًا بمسافات. وتُعد التنسيقات العمودية مثل Parquet أكثر كفاءة بكثير، لأن Athena تقرأ الأعمدة التي يحتاج إليها الاستعلام فقط، فتفحص بيانات أقل وتخفض التكلفة.

تشغّلون الاستعلامات من وحدة تحكم Athena أو عبر API أو CLI، وتُكتب النتائج في موقع نتائج الاستعلام في S3. وقد يحسب استعلام تحقيقي بسيط عدد مرات فشل تسجيل الدخول إلى وحدة التحكم لكل مستخدم. تعيد Athena النتائج خلال ثوانٍ إلى دقائق، حسب حجم البيانات، من دون بنية تحتية لإدارتها.

تخضع صلاحية الوصول إلى Athena لحكم سياسات IAM، ولا يمكن للاستعلامات قراءة بيانات S3 إلا إذا كان لدى مستدعيها الإذن بالوصول إليها. وينبغي أيضًا تشفير موقع النتائج، لأن النتائج قد تحتوي على محتوى حساس من السجلات. وتتيح لكم مجموعات العمل فصل الفرق، وفرض تشفير النتائج، وتعيين حدود لكمية البيانات التي يمكن فحصها لكل استعلام.

بالإضافة إلى S3، يمكن لاستعلامات Athena الموحدة الوصول إلى مصادر بيانات أخرى مثل DynamoDB أو RDS من خلال موصلات. وعلى الرغم من أن معظم تحليلات سجلات الأمان تستهدف S3، تتيح لكم المواءمة ضم بيانات السجلات إلى بيانات مرجعية، مثل مخزون الأصول، لإثراء التحقيق من دون نقل كل شيء إلى S3 أولًا.

تعزل مجموعات العمل الاستعلامات والنتائج والإعدادات الخاصة بالفرق المختلفة. ويمكن لمجموعة العمل فرض موقع مشفّر للنتائج، وتعيين حاوية منفصلة لنتائج الاستعلام، ووضع حد أقصى لعدد وحدات البايت التي يمكن لاستعلام واحد فحصها. وهذا يحد من التكلفة ويحافظ في الوقت نفسه على فصل نتائج التحقيق الحساسة لفريق عن نتائج فريق آخر.

استخدموا Athena عندما تحتاجون إلى تحليل كميات كبيرة من السجلات التاريخية بطريقة مخصصة، وخاصة CloudTrail وFlow Logs في S3. أما التنبيهات في الوقت الفعلي فما زلتم تعتمدون فيها على CloudWatch وGuardDuty؛ إذ إن Athena أداة التعمق في التحقيق وإعداد التقارير بعد وقوع الأحداث عبر مجموعات البيانات الضخمة.

اختبروا أساسيات Athena.

تشغّل Amazon Athena لغة SQL مباشرةً على بيانات S3، من دون خوادم وبسعر يُحتسب وفق البيانات التي جرى فحصها. وتستخدم schema-on-read مع تعريفات الجداول في Glue Data Catalog، وتدعم تنسيقات مثل JSON وParquet الفعال. أمّنوا الخدمة باستخدام IAM ومواقع النتائج المشفّرة ومجموعات العمل. وهي الأداة الأساسية للتحليل المتعمق بعد وقوع الأحداث لسجلات CloudTrail وFlow Logs.