Tabellen über CloudTrail-Daten erstellen

Athena kann rohe S3-Dateien erst abfragen, wenn Sie festlegen, wie sie gelesen werden sollen. Eine Tabelle ordnet die CloudTrail-JSON-Dateien in Ihrem S3-Bucket benannten Spalten mit Datentypen zu. Sobald die Tabelle vorhanden ist, kann die umfangreiche Struktur von CloudTrail-Ereignissen mit gewöhnlichem SQL angesprochen werden.

CloudTrail stellt Ereignisse als JSON bereit. Jeder Datensatz beschreibt einen API-Aufruf mit verschachtelten Feldern wie userIdentity, eventName, sourceIPAddress und requestParameters. Das Tabellenschema muss diese Verschachtelung einschließlich struct-Typen für Objekte abbilden, damit Abfragen auf Felder wie userIdentity.arn zugreifen können.

Sie müssen das Schema nicht von Hand schreiben. AWS veröffentlicht eine standardmäßige CREATE TABLE-Anweisung für CloudTrail, die Sie über die CloudTrail-Konsole und Athena generieren können. Durch die Verwendung der bereitgestellten DDL wird sichergestellt, dass jedes Feld, auch tief verschachtelte Felder, korrekt abgebildet wird und Ihre Abfragen keine Daten übersehen.

Eine SerDe (Serializer/Deserializer) teilt Athena mit, wie die einzelnen Dateien zu analysieren sind. CloudTrail-Tabellen verwenden eine SerDe, die für das JSON-Layout von CloudTrail entwickelt wurde und das Array records sowie verschachtelte Strukturen versteht. Die richtige SerDe ist entscheidend: Eine falsche SerDe führt zu Analysefehlern oder NULL-Spalten.

Die LOCATION-Klausel der Tabelle verweist auf das S3-Präfix, unter dem CloudTrail die Logs speichert – normalerweise auf einen Pfad, der die Konto-ID und die Region enthält. Das richtige Präfix ist wichtig: Ist es zu weit gefasst, scannen Sie irrelevante Daten; ist es zu eng gefasst, entgehen Ihnen Ereignisse, die Sie abfragen möchten.

Nachdem die Tabelle erstellt wurde, fragen Sie verschachtelte Felder mit der Punktnotation ab, zum Beispiel userIdentity.arn oder requestParameters.bucketName. SQL-Funktionen helfen dabei, Arrays und JSON-Zeichenfolgen zu entpacken. Hier zeigt Athena seine Stärke bei Untersuchungen: Sie können den Ereignisnamen, den Principal und die Parameter jedes API-Aufrufs präzise filtern.

Statt die DDL manuell zu erstellen, kann ein AWS Glue crawler die S3-Daten durchsuchen und automatisch ein Schema im Data Catalog ableiten. Für bekannte Formate wie CloudTrail ist die bereitgestellte DDL in der Regel übersichtlicher. Crawler sind jedoch hilfreich bei benutzerdefinierten oder sich ändernden Logformaten, wenn Sie das Schema nicht von Hand schreiben möchten.

CloudTrail-JSON enthält Felder, die selbst JSON-Zeichenfolgen sind, etwa requestParameters, wenn die Werte je nach Service variieren. Oft analysieren Sie diese erst zum Abfragezeitpunkt mithilfe von JSON-Funktionen. Wenn Sie wissen, dass einige Spalten Zeichenfolgen sind, die erst analysiert werden müssen, und keine vorstrukturierten Spalten, vermeiden Sie Verwirrung, wenn sich ein Feld nicht wie eine gewöhnliche Spalte verhält.

Bei einem organization trail werden die Logs aller Konten in einem Bucket unter kontospezifischen Präfixen abgelegt. Sie können eine einzelne Tabelle über das gesamte Präfix erstellen und damit alle Konten gleichzeitig abfragen oder für jedes Konto separate Tabellen zur Isolierung anlegen. Eine einheitliche Tabelle ist leistungsstark für die organisationsweite Bedrohungssuche mit einer einzigen Abfrage.

Führen Sie nach dem Erstellen der Tabelle eine kurze SELECT-Abfrage mit einem kleinen LIMIT aus, um zu bestätigen, dass Zeilen zurückgegeben werden und die Spalten wie erwartet befüllt sind. Sind Spalten NULL, stimmen die SerDe, der Speicherort oder das Schema wahrscheinlich nicht. Diese Plausibilitätsprüfung bewahrt Sie davor, Untersuchungen auf einer unbemerkt fehlerhaften Tabelle aufzubauen.

Sobald die CloudTrail-Tabelle korrekt ist, verfügen Sie über einen abfragbaren Audit-Trail, der die gesamte aufgezeichnete Historie umfasst. Jede Konsolenanmeldung, jeder API-Aufruf und jeder Fehler ist nun eine Zeile, die Sie filtern und aggregieren können. Diese Tabelle bildet die Grundlage für die Incident-Abfragen, die Sie als Nächstes schreiben werden.

Testen Sie Ihr Wissen über das Erstellen von Tabellen.

Um CloudTrail in Athena abzufragen, erstellen Sie eine Tabelle, die die JSON-Dateien Spalten zuordnet. Verwenden Sie dazu die von AWS bereitgestellte CREATE TABLE DDL, die richtige SerDe und den korrekten S3-LOCATION. Fragen Sie verschachtelte Felder mit der Punktnotation ab, analysieren Sie JSON-Zeichenfolgenspalten zum Abfragezeitpunkt und überprüfen Sie das Ergebnis mit einer kleinen SELECT-Abfrage. Ein organization trail kann als eine einzige Tabelle für die organisationsweite Bedrohungssuche dienen.