Athena ile S3 Günlüklerini Sorgulama

Amazon Athena, Amazon S3'te depolanan verilere doğrudan standart SQL çalıştıran, sunucusuz ve etkileşimli bir sorgu hizmetidir. Sağlanacak veya yönetilecek bir veritabanı yoktur: Athena'yı S3'teki verilere yönlendirir, bir şema tanımlar ve sorgu çalıştırırsınız. Bu özellik, AWS'nin ürettiği büyük günlük dosyalarını analiz etmek için Athena'yı ideal hale getirir.

Athena sunucusuzdur ve ücretlendirme, taranan veri miktarına göre sorgu başınadır. Sorgu çalıştırmadığınızda boşta kalma maliyeti oluşmaz. Bu fiyatlandırma modeli verimli sorguları ve iyi düzenlenmiş verileri teşvik eder; çünkü daha az veri taramak hem daha hızlı hem de daha ucuzdur. Bu tema, Athena kullanımında tekrar tekrar karşınıza çıkar.

Güvenlik, CloudTrail, VPC Flow Logs, ALB erişim günlükleri ve daha fazlası gibi S3'e aktarılan çok büyük miktarda günlük üretir. Athena, bir veri işlem hattı oluşturmadan, alışık olduğunuz SQL ile bunları incelemenizi sağlar. Bir olay sırasında aylarca geçmişi milyarlarca kayıt arasından dakikalar içinde arayabilirsiniz; incelemelerin gerektirdiği şey tam olarak budur.

Athena, okuma sırasında şema yaklaşımını kullanır: S3'teki dosyaların nasıl yorumlanacağını açıklayan bir tablo şeması tanımlarsınız ve bu şema veriler depolanırken değil, sorgu çalıştırılırken uygulanır. Ham günlük dosyaları hiçbir zaman değiştirilmez. Böylece aynı dokunulmamış günlüklerin üzerine istediğiniz zaman yeni tablolar ve görünümler ekleyebilirsiniz.

Athena, tablo tanımlarını merkezi bir meta veri deposu olan AWS Glue Data Catalog'dan okur. Bir tablo, S3'teki bir konumu ve biçimi sütunlarla veri türlerine eşler. Kataloglandıktan sonra tablo Athena ve diğer analiz hizmetleri tarafından kullanılabilir; böylece günlük verileriniz için ortak bir tanım elde edersiniz.

Athena birçok biçimi sorgulayabilir: JSON, CSV, Apache Parquet, ORC ve Avro. CloudTrail günlükleri JSON biçimindedir; Flow Logs ise boşluklarla ayrılmış metindir. Parquet gibi sütunlu biçimler çok daha verimlidir; çünkü Athena yalnızca sorgunun ihtiyaç duyduğu sütunları okur, daha az veri tarar ve maliyeti düşürür.

Sorguları Athena konsolunda, API üzerinden veya CLI ile çalıştırırsınız; sonuçlar bir S3 sorgu sonuçları konumuna yazılır. Basit bir inceleme sorgusu, kullanıcıya göre başarısız konsol oturum açmalarını sayabilir. Athena, veri hacmine bağlı olarak sonuçları saniyeler veya dakikalar içinde döndürür ve yönetilecek bir altyapı gerektirmez.

Athena erişimi IAM politikaları tarafından yönetilir ve sorgular yalnızca çağrıyı yapan kişinin erişim iznine sahip olduğu S3 verilerini okuyabilir. Ayrıca sorgu sonuçları konumunu şifrelemelisiniz; çünkü sonuçlar hassas günlük içeriği barındırabilir. Çalışma grupları ekipleri birbirinden ayırmanıza, sonuç şifrelemesini zorunlu kılmanıza ve sorgu başına veri tarama sınırları belirlemenize olanak tanır.

S3'ün yanı sıra Athena birleşik sorgular ile bağlayıcılar üzerinden DynamoDB veya RDS gibi diğer veri kaynaklarına da erişebilir. Güvenlik günlüğü analizlerinin çoğu S3'ü hedeflese de birleşik kullanım, her şeyi önce S3'e taşımadan günlük verilerini bir varlık envanteri gibi başvuru verileriyle birleştirerek incelemeyi zenginleştirmenizi sağlar.

Çalışma grupları, farklı ekiplerin sorgularını, sonuçlarını ve ayarlarını birbirinden ayırır. Bir çalışma grubu şifrelenmiş bir sonuç konumunu zorunlu kılabilir, ayrı bir sorgu sonuçları klasörü belirleyebilir ve tek bir sorgunun tarayabileceği bayt miktarını sınırlayabilir. Böylece hem maliyet kontrol altında tutulur hem de bir ekibin hassas inceleme sonuçları diğer ekibinkilerden ayrı kalır.

Başta S3'teki CloudTrail ve Flow Logs olmak üzere, geçmişe ait büyük günlük hacimlerini anlık olarak analiz etmeniz gerektiğinde Athena'yı kullanın. Gerçek zamanlı uyarılar için CloudWatch ve GuardDuty'ye güvenmeye devam edersiniz; Athena, büyük veri kümelerinde olay sonrasında yapılan derinlemesine inceleme ve raporlama için kullanılan araçtır.

Athena temelleri bilginizi sınayın.

Amazon Athena, S3 verileri üzerinde doğrudan SQL çalıştırır; sunucusuzdur ve taranan veriye göre ücretlendirilir. Glue Data Catalog'daki tablo tanımlarıyla okuma sırasında şema yaklaşımını kullanır ve JSON ile verimli Parquet gibi biçimleri destekler. Hizmeti IAM, şifrelenmiş sonuç konumları ve çalışma gruplarıyla güvenli hale getirin. CloudTrail ve Flow Logs'un olay sonrası derinlemesine analizi için başvurulacak araçtır.