Hız ve Maliyet için Günlükleri Bölümlendirme

Athena taranan veri miktarına göre ücretlendirdiği için tek bir günün olaylarını bulmak amacıyla bir yıllık günlükleri sorgulamak zaman ve para israfıdır. Bölümleme, Athena'nın yalnızca ilgili veri dilimini okumasını sağlayan tekniktir; sorguları çok daha hızlı ve ucuz hâle getirir. Bu, Athena'daki en önemli tek optimizasyondur.

Bölüm, bir tablonun verilerini, genellikle tarih bileşenleri olan bir veya daha fazla sütunun değerlerine göre ayırır ve bunları S3 önekleriyle eşler. CloudTrail günlükleri zaten bölge/yıl/ay/gün düzeninde tutulur; bu nedenle bu değerlere göre bölümlemek fiziksel yapıyla eşleşir ve Athena'nın sorgunuzun dışında kalan klasörleri atlamasını sağlar.

Bir sorgu bölüm sütununa göre filtrelendiğinde Athena bölüm budaması gerçekleştirir: yalnızca eşleşen önekleri okur ve geri kalanını yok sayar. Uygun bölümlere sahip bir sorgu, tek bir gün için bucket'ın çok küçük bir bölümünü tarar. Budama olmadan aynı sorgu, ihtiyaç duyması mümkün olmayan veriler de dâhil olmak üzere her şeyi tarar.

Bölümleri kaydetmenin bir yolu, bir bölüm değerini S3 konumuyla eşleyen ALTER TABLE ADD PARTITION komutudur. Bu yöntem işe yarar; ancak günlük verileri için zahmetlidir, çünkü her gün bir bölüm eklemeniz gerekir. Bir kerelik geçmiş veri yüklemeleri için uygundur, fakat sürekli büyüyen günlükler için ölçeklenemez.

Bölüm yansıtma, modern ve önerilen yaklaşımdır: Athena'ya, bir tarih aralığı gibi bölüm düzenini bildirirsiniz; Athena da her bölümü katalogda saklamadan önekleri sorgu sırasında hesaplar. Sürekli büyüyen CloudTrail ve Akış Günlüğü verileri için bu yaklaşım, sürekli bakımı ortadan kaldırır ve budamayı otomatik tutar.

Bir Glue tarayıcısı yeni bölümleri de zamanlanmış şekilde keşfedip kataloğa ekleyebilir. Bu, değişen veriler için bölüm yönetimini otomatikleştirir; ancak öngörülebilir, tarih tabanlı düzenlerde bölüm yansıtma genellikle daha basittir ve tarayıcı maliyeti oluşturmaz.

Bölümleme hangi dosyaların okunacağını sınırlar; Parquet gibi sütunlu biçimler ise bu dosyaların içinden hangi sütunların okunacağını sınırlar. Günlükleri Parquet'e dönüştürüp tarihe göre bölümlemek gibi iki yaklaşımı birlikte kullanmak, taranan veriyi kat kat azaltabilir. Birçok ekip, yüksek hacimli günlüklerin sorgu için iyileştirilmiş kopyalarını depolamak amacıyla bir dönüştürme işi çalıştırır.

Günlük verilerini GZIP veya Snappy gibi biçimlerle sıkıştırmak, taranan baytları ve depolama maliyetini daha da azaltır. Athena, sıkıştırılmış dosyaları şeffaf biçimde okur. Bölümleme ve sütunlu depolamayla birlikte sıkıştırma, büyük ölçekli günlük analizini uygun maliyetli hâle getiren üçlü tekniği tamamlar.

Güvenlik günlüklerinde, araştırmalar zamanla sınırlandığı için öncelikle tarihe göre bölümleyin. Kuruluş trail'lerinde tek bir hesabı hızla hedefleyebilmek için hesaba veya bölgeye göre bölümlemeyi de değerlendirin. Doğru bölüm anahtarları, araştırmalarınızın gerçekte nasıl filtreleme yaptığıyla örtüşür ve gerçek sorgularda budamayı en üst düzeye çıkarır.

Athena, sorgu başına taranan veri miktarını bildirir. Bu ölçümü izlemek, bölümlemenin işe yarayıp yaramadığını gösterir: iyi bölümlenmiş ve zamanla sınırlandırılmış bir sorgu terabaytlar değil, megabaytlar taramalıdır. Bir sorgu beklenenden çok daha fazla veri tarıyorsa filtreniz muhtemelen bölüm sütunlarıyla uyumlu değildir.

Optimizasyon katmanı; ilgisiz verileri atlamak için bölümleme, yalnızca gereken sütunları okumak için sütunlu biçim ve baytları küçültmek için sıkıştırmadan oluşur. CloudTrail ve Akış Günlüklerine uygulandığında bunlar, yavaş ve maliyetli olabilecek taramaları hızlı ve ucuz araştırmalara dönüştürür; büyük ölçekli güvenlik analizinin gerektirdiği de tam olarak budur.

Bölümleme, tablo verilerini sütunlara (genellikle tarihe) göre ayırır; böylece Athena bölüm budaması yapar ve yalnızca ilgili önekleri tarayarak maliyeti ve süreyi azaltır. Büyüyen günlüklerde elle ADD PARTITION kullanmak veya tarayıcılardan yararlanmak yerine bölüm yansıtmayı tercih edin. Büyük tasarruf için bölümleri sütunlu Parquet ve sıkıştırmayla birleştirin, güvenlik günlüklerini tarihe ve hesaba göre bölümleyin ve taranan veri ölçümünü izleyin.