Odpytywanie logów S3 za pomocą Athena

Amazon Athena to bezserwerowa, interaktywna usługa zapytań, która wykonuje standardowy SQL bezpośrednio na danych przechowywanych w Amazon S3. Nie trzeba udostępniać ani zarządzać bazą danych: wystarczy wskazać Athenie dane w S3, zdefiniować schemat i wykonywać zapytania. Dzięki temu doskonale nadaje się do analizowania ogromnych plików dzienników generowanych przez AWS.

Athena jest bezserwerowa, a opłaty są naliczane za zapytanie na podstawie ilości przeskanowanych danych. Gdy nie wykonuje się zapytań, nie ma kosztu bezczynności. Ten model cenowy zachęca do wydajnych zapytań i dobrego organizowania danych, ponieważ skanowanie mniejszej ilości danych jest zarówno szybsze, jak i tańsze — to motyw powracający w pracy z Atheną.

Bezpieczeństwo generuje ogromne ilości dzienników: CloudTrail, VPC Flow Logs, dzienniki dostępu ALB i inne, które trafiają do S3. Athena umożliwia analizowanie ich za pomocą znanego SQL bez tworzenia potoku danych. Podczas incydentu można w ciągu kilku minut przeszukać wiele miesięcy historii obejmującej miliardy rekordów — dokładnie tego wymagają dochodzenia.

Athena korzysta z podejścia schema-on-read: definiuje się schemat tabeli opisujący sposób interpretacji plików w S3, a schemat jest stosowany podczas wykonywania zapytania, a nie w chwili zapisywania danych. Surowe pliki dzienników nigdy nie są modyfikowane. Oznacza to, że w dowolnym momencie można tworzyć nowe tabele i widoki na podstawie tych samych, niezmienionych dzienników.

Athena odczytuje definicje tabel z AWS Glue Data Catalog, centralnego magazynu metadanych. Tabela mapuje lokalizację w S3 oraz format danych na kolumny i typy. Po skatalogowaniu tabela jest dostępna dla Athena i innych usług analitycznych, zapewniając jedną wspólną definicję danych dzienników.

Athena obsługuje zapytania dotyczące wielu formatów: JSON, CSV, Apache Parquet, ORC i Avro. Dzienniki CloudTrail są zapisane w formacie JSON, a Flow Logs jako tekst rozdzielany spacjami. Formaty kolumnowe, takie jak Parquet, są znacznie wydajniejsze, ponieważ Athena odczytuje tylko kolumny potrzebne do wykonania zapytania, skanując mniej danych i obniżając koszty.

Zapytania można wykonywać w konsoli Athena, za pośrednictwem API lub interfejsu CLI, a wyniki są zapisywane w lokalizacji wyników zapytań w S3. Proste zapytanie analityczne może na przykład zliczać nieudane logowania do konsoli według użytkownika. Athena zwraca wyniki w ciągu od kilku sekund do kilku minut, zależnie od ilości danych, bez konieczności zarządzania infrastrukturą.

Dostęp do Athena jest kontrolowany przez zasady IAM, a zapytania mogą odczytywać wyłącznie dane S3, do których wywołujący ma uprawnienia. Należy również szyfrować lokalizację wyników, ponieważ wyniki mogą zawierać poufne treści dzienników. Grupy robocze pozwalają oddzielać zespoły, wymuszać szyfrowanie wyników i ustalać limity ilości danych skanowanych przez pojedyncze zapytanie.

Poza S3 zapytania federacyjne Athena mogą uzyskiwać dostęp do innych źródeł danych, takich jak DynamoDB lub RDS, za pośrednictwem konektorów. Choć większość analiz dzienników bezpieczeństwa dotyczy danych w S3, federacja pozwala łączyć dane dzienników z danymi referencyjnymi, na przykład inwentarzem zasobów, aby wzbogacić dochodzenie bez wcześniejszego przenoszenia wszystkich danych do S3.

Grupy robocze izolują zapytania, wyniki i ustawienia różnych zespołów. Grupa robocza może wymuszać szyfrowaną lokalizację wyników, ustawić osobny zasobnik na wyniki zapytań i ograniczyć liczbę bajtów, które może przeskanować pojedyncze zapytanie. Pozwala to zarówno kontrolować koszty, jak i oddzielić poufne wyniki dochodzenia jednego zespołu od wyników innego zespołu.

Używaj Athena, gdy potrzebujesz doraźnie analizować duże ilości historycznych dzienników, zwłaszcza CloudTrail i Flow Logs w S3. Do alertów w czasie rzeczywistym nadal służą CloudWatch i GuardDuty, natomiast Athena jest narzędziem do szczegółowych analiz po fakcie i raportowania na podstawie ogromnych zbiorów danych.

Sprawdź podstawową wiedzę o Athena.

Amazon Athena wykonuje zapytania SQL bezpośrednio na danych S3, działając bezserwerowo i naliczając opłaty za ilość przeskanowanych danych. Korzysta z podejścia schema-on-read, a definicje tabel przechowuje w Glue Data Catalog; obsługuje między innymi JSON i wydajny format Parquet. Należy ją zabezpieczyć za pomocą IAM, szyfrowanych lokalizacji wyników i grup roboczych. Jest podstawowym narzędziem do szczegółowej analizy po fakcie danych CloudTrail i Flow Logs.