S3-Protokolle mit Athena abfragen

Amazon Athena ist ein serverloser, interaktiver Abfrageservice, der standardmäßiges SQL direkt auf Daten in Amazon S3 ausführt. Es muss keine Datenbank bereitgestellt oder verwaltet werden: Sie verweisen Athena auf Daten in S3, definieren ein Schema und führen Abfragen aus. Dadurch eignet sich Athena ideal für die Analyse der umfangreichen Protokolldateien, die AWS erzeugt.

Athena ist serverlos, und Sie zahlen pro Abfrage abhängig von der Menge der gescannten Daten. Wenn keine Abfragen ausgeführt werden, fallen keine Leerlaufkosten an. Dieses Preismodell belohnt effiziente Abfragen und gut organisierte Daten, denn das Scannen kleinerer Datenmengen ist sowohl schneller als auch günstiger. Dieses Prinzip zieht sich durch die gesamte Nutzung von Athena.

Bei der Sicherheit entstehen riesige Protokollmengen: CloudTrail, VPC Flow Logs, ALB-Zugriffsprotokolle und weitere Daten landen in S3. Mit Athena können Sie sie mithilfe vertrauten SQL untersuchen, anstatt eine Datenpipeline aufzubauen. Während eines Sicherheitsvorfalls können Sie monatelange Verlaufsdaten mit Milliarden von Datensätzen innerhalb weniger Minuten durchsuchen – genau das, was Untersuchungen erfordern.

Athena verwendet schema-on-read: Sie definieren ein Tabellenschema, das beschreibt, wie Dateien in S3 interpretiert werden sollen. Das Schema wird bei der Abfrage angewendet, nicht beim Speichern der Daten. Die ursprünglichen Protokolldateien werden niemals verändert. Dadurch können Sie jederzeit neue Tabellen und Ansichten über dieselben unveränderten Protokolle legen.

Athena liest Tabellendefinitionen aus dem AWS Glue Data Catalog, einem zentralen Metadatenspeicher. Eine Tabelle ordnet einem Speicherort in S3 und einem Format bestimmte Spalten und Datentypen zu. Sobald sie katalogisiert ist, steht die Tabelle Athena und anderen Analyseservices zur Verfügung. So erhalten Sie eine gemeinsame Definition Ihrer Protokolldaten.

Athena kann viele Formate abfragen: JSON, CSV, Apache Parquet, ORC und Avro. CloudTrail-Protokolle liegen als JSON vor, Flow Logs als durch Leerzeichen getrennter Text. Spaltenbasierte Formate wie Parquet sind wesentlich effizienter, da Athena nur die von einer Abfrage benötigten Spalten liest. Dadurch werden weniger Daten gescannt und die Kosten gesenkt.

Sie führen Abfragen in der Athena-Konsole, über die API oder über die CLI aus. Die Ergebnisse werden an einen Speicherort für Abfrageergebnisse in S3 geschrieben. Eine einfache Untersuchungsabfrage könnte beispielsweise fehlgeschlagene Konsolenanmeldungen nach Benutzer zählen. Je nach Datenmenge liefert Athena die Ergebnisse innerhalb von Sekunden bis Minuten – ohne zu verwaltende Infrastruktur.

Der Zugriff auf Athena wird durch IAM-Richtlinien gesteuert. Abfragen können nur auf S3-Daten zugreifen, für die der Aufrufende eine Berechtigung besitzt. Außerdem sollten Sie den Speicherort für Abfrageergebnisse verschlüsseln, da die Ergebnisse vertrauliche Protokollinhalte enthalten können. Mit Workgroups können Sie Teams trennen, die Verschlüsselung der Ergebnisse erzwingen und Limits für die pro Abfrage gescannte Datenmenge festlegen.

Über S3 hinaus können föderierte Abfragen von Athena mithilfe von Konnektoren auf andere Datenquellen wie DynamoDB oder RDS zugreifen. Obwohl sich die Analyse von Sicherheitsprotokollen meist auf S3 konzentriert, können Sie mithilfe der Föderation Protokolldaten mit Referenzdaten, etwa einem Anlageninventar, verknüpfen. So lässt sich eine Untersuchung anreichern, ohne zunächst alle Daten nach S3 verschieben zu müssen.

Workgroups isolieren Abfragen, Ergebnisse und Einstellungen für verschiedene Teams. Eine Workgroup kann einen verschlüsselten Speicherort für Ergebnisse erzwingen, einen separaten Bucket für Abfrageergebnisse festlegen und die Anzahl der Bytes begrenzen, die eine einzelne Abfrage scannen darf. Dadurch werden sowohl die Kosten begrenzt als auch die vertraulichen Untersuchungsergebnisse eines Teams von denen anderer Teams getrennt.

Verwenden Sie Athena, wenn Sie große Mengen historischer Protokolle spontan analysieren müssen, insbesondere CloudTrail- und Flow-Logs in S3. Für Echtzeitwarnungen verlassen Sie sich weiterhin auf CloudWatch und GuardDuty. Athena ist das Werkzeug für detaillierte nachträgliche Untersuchungen und Berichte über sehr große Datenmengen.

Testen Sie Ihre Grundlagen zu Athena.

Amazon Athena führt SQL direkt auf S3-Daten aus, ist serverlos und wird nach den gescannten Daten abgerechnet. Der Service verwendet schema-on-read mit Tabellendefinitionen im Glue Data Catalog und unterstützt Formate wie JSON sowie das effiziente Format Parquet. Sichern Sie Athena mit IAM, verschlüsselten Speicherorten für Ergebnisse und Workgroups ab. Athena ist das bevorzugte Werkzeug für detaillierte nachträgliche Analysen von CloudTrail- und Flow-Logs.