Protokolle für Geschwindigkeit und Kosten partitionieren

Da Athena nach der Menge der gescannten Daten abrechnet, verschwendet es Zeit und Geld, ein Jahr an Logs zu durchsuchen, um die Ereignisse eines einzigen Tages zu finden. Partitionierung ermöglicht es Athena, nur den relevanten Datenausschnitt zu lesen, wodurch Abfragen deutlich schneller und günstiger werden. Sie ist die wichtigste einzelne Optimierung für Athena.

Eine Partition unterteilt die Daten einer Tabelle anhand der Werte einer oder mehrerer Spalten, üblicherweise anhand von Datumskomponenten, die S3-Präfixen zugeordnet sind. CloudTrail-Logs sind bereits nach region/year/month/day strukturiert. Eine entsprechende Partitionierung bildet diese physische Struktur ab und ermöglicht es Athena, Ordner außerhalb der Abfrage zu überspringen.

Wenn eine Abfrage nach einer Partitionsspalte filtert, führt Athena eine Partitionsbereinigung durch: Es liest nur die passenden Präfixe und ignoriert den Rest. Eine Abfrage für einen Tag mit korrekt eingerichteten Partitionen scannt nur einen winzigen Teil des Buckets. Ohne diese Bereinigung würde dieselbe Abfrage alles scannen, auch Daten, die sie unmöglich benötigen kann.

Partitionen lassen sich unter anderem mit ALTER TABLE ADD PARTITION registrieren, indem ein Partitionswert einem S3-Speicherort zugeordnet wird. Das funktioniert, ist bei täglich anfallenden Logs jedoch mühsam, da Sie jeden Tag eine Partition hinzufügen müssten. Für einmalige historische Datenimporte ist dieses Vorgehen geeignet, für laufende Logs lässt es sich jedoch nicht skalieren.

Die Partitionsprojektion ist der moderne und empfohlene Ansatz: Sie teilen Athena das Partitionsmuster mit, etwa Datumswerte innerhalb eines Bereichs, und Athena berechnet die Präfixe zum Abfragezeitpunkt, ohne jede Partition im Katalog zu speichern. Bei kontinuierlich wachsenden CloudTrail- und Flow-Log-Daten entfällt dadurch die laufende Pflege, während die Bereinigung automatisch erfolgt.

Ein Glue crawler kann neue Partitionen ebenfalls nach einem Zeitplan erkennen und dem Katalog hinzufügen. Das automatisiert die Partitionsverwaltung für sich entwickelnde Daten. Bei vorhersehbaren datumsbasierten Strukturen ist die Partitionsprojektion jedoch meist einfacher und verursacht keine Crawler-Kosten.

Die Partitionierung begrenzt, welche Dateien gelesen werden; Spaltenformate wie Parquet begrenzen, welche Spalten innerhalb dieser Dateien gelesen werden. Die Kombination aus beidem – die Konvertierung der Logs in Parquet und die Partitionierung nach Datum – kann die gescannte Datenmenge um Größenordnungen reduzieren. Viele Teams führen einen Konvertierungsjob aus, um abfrageoptimierte Kopien umfangreicher Logs zu speichern.

Die Komprimierung von Log-Daten mit Formaten wie GZIP oder Snappy reduziert die gescannten Bytes und die Speicherkosten zusätzlich. Athena liest komprimierte Dateien transparent. Zusammen mit Partitionierung und spaltenbasierter Speicherung vervollständigt die Komprimierung das Trio der Techniken, die eine groß angelegte Log-Analyse bezahlbar machen.

Partitionieren Sie Sicherheitslogs hauptsächlich nach Datum, da Untersuchungen zeitlich begrenzt sind. Bei Organisationstrails sollten Sie außerdem eine Partitionierung nach Konto oder Region in Betracht ziehen, damit Sie schnell ein einzelnes Konto auswählen können. Die richtigen Partitionsschlüssel spiegeln wider, wie Ihre Untersuchungen tatsächlich filtern, und maximieren so die Bereinigung bei realen Abfragen.

Athena meldet die Menge der gescannten Daten pro Abfrage. Anhand dieser Metrik erkennen Sie, ob die Partitionierung funktioniert: Eine gut partitionierte und zeitlich begrenzte Abfrage sollte Megabytes und keine Terabytes scannen. Scannt eine Abfrage deutlich mehr als erwartet, stimmt Ihr Filter wahrscheinlich nicht mit den Partitionsspalten überein.

Der Optimierungsstapel besteht aus Partitionierung, um irrelevante Daten zu überspringen, einem Spaltenformat, um nur benötigte Spalten zu lesen, und Komprimierung, um die Bytemenge zu reduzieren. Auf CloudTrail und Flow Logs angewendet, verwandeln diese Techniken langsame und teure Scans in schnelle, kostengünstige Untersuchungen – genau das, was eine Sicherheitsanalyse im großen Maßstab erfordert.

Testen Sie Ihr Wissen über Partitionierung.

Partitionierung unterteilt Tabellendaten nach Spalten (meist nach Datum), sodass Athena eine Partitionsbereinigung durchführen und nur relevante Präfixe scannen kann. Dadurch werden Kosten und Zeit reduziert. Bevorzugen Sie bei wachsenden Logs die Partitionsprojektion gegenüber manuellen ADD PARTITION-Anweisungen oder Crawlern. Kombinieren Sie Partitionen mit spaltenbasiertem Parquet und Komprimierung, um große Einsparungen zu erzielen, partitionieren Sie Sicherheitslogs nach Datum und Konto und behalten Sie die Metrik für gescannte Daten im Blick.