Forespørgsler på S3-logge med Athena

Amazon Athena er en serverløs, interaktiv forespørgselstjeneste, der kører standard-SQL direkte på data, der er gemt i Amazon S3. Der er ingen database, der skal klargøres eller administreres: Du peger Athena på data i S3, definerer et skema og kører forespørgsler. Det gør tjenesten ideel til at analysere de enorme logfiler, som AWS producerer.

Athena er serverløs, og du betaler pr. forespørgsel baseret på mængden af scannede data. Der er ingen tomgangsomkostninger, når du ikke kører forespørgsler. Denne prismodel belønner effektive forespørgsler og velorganiserede data, eftersom scanning af færre data både er hurtigere og billigere, hvilket er et gennemgående tema ved brug af Athena.

Sikkerhed genererer enorme mængder logs: CloudTrail, VPC Flow Logs, ALB-adgangslogs og meget mere, som alt sammen ender i S3. Athena lader dig undersøge dem med velkendt SQL i stedet for at opbygge en datapipeline. Under en hændelse kan du på få minutter søge i måneders historik på tværs af milliarder af poster, hvilket netop er det, undersøgelser kræver.

Athena bruger skema ved læsning: Du definerer et tabelskema, der beskriver, hvordan filer i S3 skal fortolkes, og skemaet anvendes, når du kører en forespørgsel, ikke når dataene gemmes. De rå logfiler ændres aldrig. Det betyder, at du når som helst kan lægge nye tabeller og visninger oven på de samme urørte logs.

Athena læser tabeldefinitioner fra AWS Glue Data Catalog, et centralt metadatalager. En tabel knytter en placering i S3 og et format til kolonner og typer. Når tabellen er registreret i kataloget, er den tilgængelig for Athena og andre analysetjenester, så du får én fælles definition af dine logdata.

Athena kan forespørge i mange formater: JSON, CSV, Apache Parquet, ORC og Avro. CloudTrail-logs er JSON, og Flow Logs er tekst med mellemrum som skilletegn. Kolonnebaserede formater som Parquet er langt mere effektive, fordi Athena kun læser de kolonner, en forespørgsel har brug for, hvilket reducerer datamængden og omkostningerne.

Du kører forespørgsler i Athena-konsollen, via API'et eller CLI'en, og resultaterne skrives til en S3-placering for forespørgselsresultater. En enkel undersøgelsesforespørgsel kan f.eks. tælle mislykkede konsollogins pr. bruger. Athena returnerer resultater på sekunder til minutter afhængigt af datamængden, uden infrastruktur, der skal administreres.

Adgang til Athena styres af IAM-politikker, og forespørgsler kan kun læse S3-data, som den kaldende part har tilladelse til at få adgang til. Du bør også kryptere placeringen for forespørgselsresultater, eftersom resultater kan indeholde følsomt logindhold. Workgroups lader dig adskille teams, håndhæve kryptering af resultater og angive grænser for datascanning pr. forespørgsel.

Ud over S3 kan Athenas fødererede forespørgsler tilgå andre datakilder som DynamoDB eller RDS via forbindelser. Selvom de fleste analyser af sikkerhedslogs er rettet mod S3, lader føderation dig sammenføje logdata med referencedata, f.eks. et aktivregister, for at berige en undersøgelse uden først at flytte alt til S3.

Workgroups isolerer forespørgsler, resultater og indstillinger for forskellige teams. En workgroup kan håndhæve en krypteret placering for resultater, angive en separat bucket til forespørgselsresultater og begrænse antallet af bytes, som en enkelt forespørgsel må scanne. Det begrænser både omkostningerne og sikrer, at ét teams følsomme undersøgelsesresultater holdes adskilt fra et andet teams.

Brug Athena, når du ad hoc skal analysere store mængder historiske logs, især CloudTrail og Flow Logs i S3. Til alarmering i realtid er du stadig afhængig af CloudWatch og GuardDuty; Athena er værktøjet til dybdegående undersøgelse og rapportering efter en hændelse på tværs af enorme datasæt.

Amazon Athena kører SQL direkte på S3-data, er serverløs og prissættes efter scannede data. Den bruger skema ved læsning med tabeldefinitioner i Glue Data Catalog og understøtter formater som JSON og det effektive Parquet. Sikr den med IAM, krypterede placeringer for resultater og workgroups. Den er det oplagte værktøj til dybdegående analyse af CloudTrail og Flow Logs efter en hændelse.