CloudTrail Verileri Üzerinde Tablolar Oluşturma

Athena, nasıl okunacağını belirtmediğiniz sürece ham S3 dosyalarını sorgulayamaz. Bir tablo, S3 klasörünüzdeki CloudTrail JSON dosyalarını türleri belirtilmiş adlandırılmış sütunlara eşler. Tablo oluşturulduğunda CloudTrail olaylarının zengin yapısındaki alanlara sıradan SQL ile erişilebilir.

CloudTrail, her kaydın iç içe alanlar içeren tek bir API çağrısını açıkladığı olayları JSON olarak sunar. Bu alanlar arasında userIdentity, eventName, sourceIPAddress ve requestParameters bulunur. Sorguların userIdentity.arn gibi alanlara erişebilmesi için tablo şeması, nesneler için struct türleri de dahil olmak üzere bu iç içe yapıyı yansıtmalıdır.

Şemayı elle yazmak zorunda değilsiniz. AWS, CloudTrail için standart bir CREATE TABLE ifadesi yayımlar; CloudTrail konsolu ve Athena da bu ifadeyi sizin için oluşturabilir. Sağlanan DDL'yi kullanmak, derin biçimde iç içe olanlar dahil her alanın doğru eşlenmesini sağlar ve sorgularınızın veri atlamasını önler.

SerDe (Serileştirici/Serileştirme Çözücü), Athena'ya her dosyanın nasıl ayrıştırılacağını bildirir. CloudTrail tabloları, CloudTrail JSON düzeni için tasarlanmış ve kayıtlar dizisini ve iç içe yapıları anlayan bir SerDe kullanır. Doğru SerDe'yi seçmek çok önemlidir; yanlış olanı ayrıştırma hatalarına veya null sütunlara yol açar.

Tablonun LOCATION yan tümcesi, CloudTrail'in günlükleri depoladığı S3 önekini gösterir; bu genellikle hesap kimliğini ve bölgeyi içeren bir yoldur. Bu öneki doğru belirlemek önemlidir: fazla geniş olursa ilgisiz verileri tararsınız, fazla dar olursa sorgulamak istediğiniz olayları kaçırırsınız.

Tablo oluşturulduktan sonra, userIdentity.arn veya requestParameters.bucketName gibi iç içe alanları nokta gösterimini kullanarak sorgularsınız. SQL işlevleri dizileri ve JSON dizelerini açmanıza yardımcı olur. Athena'nın araştırmalarda öne çıktığı nokta budur: herhangi bir API çağrısının olay adını, sorumlu kimliğini ve parametrelerini hassas biçimde filtreleyebilirsiniz.

Elle DDL yazmak yerine bir AWS Glue tarayıcısı, S3 verilerini tarayabilir ve bir şemayı otomatik olarak Veri Kataloğu'na çıkarabilir. CloudTrail gibi iyi bilinen biçimler için sağlanan DDL genellikle daha temizdir; ancak tarayıcılar, şemayı elle yazmak istemeyeceğiniz özel veya zaman içinde değişen günlük biçimleri için yararlıdır.

CloudTrail JSON'unda, değerlerin hizmete göre değiştiği durumlarda requestParameters gibi kendileri de JSON dizeleri olan alanlar bulunur. Bunları çoğu zaman sorgu sırasında JSON işlevleriyle ayrıştırırsınız. Bazı sütunların önceden yapılandırılmış sütunlar değil, ayrıştırılması gereken dizeler olduğunu bilmek, bir alan normal bir sütun gibi davranmadığında yaşayacağınız kafa karışıklığını önler.

Bir kuruluş trail'i için tüm hesapların günlükleri, hesaba özel önekler içeren tek bir bucket altında toplanır. Tüm hesabı aynı anda sorgulamak için bütün önek üzerinde tek bir tablo veya yalıtım için hesap başına tablolar oluşturabilirsiniz. Birleştirilmiş tablo, kuruluş genelinde tehdit avcılığını tek bir sorguda gerçekleştirmek için güçlü bir seçenektir.

Tabloyu oluşturduktan sonra, satırların döndüğünü ve sütunların beklendiği gibi doldurulduğunu doğrulamak için küçük bir SELECT ile hızlı bir sorgu çalıştırın. Sütunlar null ise SerDe, konum veya şema muhtemelen yanlıştır. Bu sağlama denetimi, sessizce bozulmuş bir tablo üzerine araştırma kurmanızı önler.

CloudTrail tablosu doğru olduğunda, kaydedilmiş tüm geçmişi kapsayan sorgulanabilir bir denetim izine sahip olursunuz. Her konsol oturumu açma işlemi, API çağrısı ve hata artık filtreleyip toplulaştırabileceğiniz bir satırdır. Bu tablo, sıradaki olay sorgularınızın temelini oluşturur.

Tablo oluşturma bilginizi sınayın.

Athena'da CloudTrail'i sorgulamak için JSON dosyalarını sütunlara eşleyen bir table oluşturmanız gerekir. Bunun için AWS'nin sağladığı CREATE TABLE DDL'yi, doğru SerDe'yi ve doğru S3 LOCATION'ı kullanın. İç içe alanları nokta gösterimiyle sorgulayın, JSON dizesi olan sütunları sorgu sırasında ayrıştırın ve küçük bir SELECT ile doğrulayın. Bir kuruluş trail'i, kuruluş genelinde tehdit avcılığı için tek bir tablo olabilir.