Fråga S3-loggar med Athena

Amazon Athena är en serverlös, interaktiv frågetjänst som kör standard-SQL direkt mot data som lagras i Amazon S3. Det finns ingen databas att tillhandahålla eller administrera: ni pekar Athena mot data i S3, definierar ett schema och kör frågor. Det gör tjänsten idealisk för analys av de enorma loggfiler som AWS producerar.

Athena är serverlös, och ni betalar per fråga baserat på mängden genomsökt data. Det finns ingen kostnad för vilande resurser när ni inte kör frågor. Prismodellen premierar effektiva frågor och välorganiserade data, eftersom mindre datamängder både går snabbare och kostar mindre att genomsöka – ett tema som återkommer i hela användningen av Athena.

Säkerhet genererar enorma mängder loggar: CloudTrail, VPC Flow Logs, ALB-åtkomstloggar med mera, som alla hamnar i S3. Med Athena kan ni undersöka dem med välbekant SQL i stället för att bygga en datapipeline. Under en incident kan ni söka igenom månaders historik i miljarder poster på några minuter, vilket är precis vad undersökningar kräver.

Athena använder schema-on-read: ni definierar ett tabellschema som beskriver hur filer i S3 ska tolkas, och schemat tillämpas när ni kör en fråga, inte när data lagras. De råa loggfilerna ändras aldrig. Det innebär att ni när som helst kan lägga nya tabeller och vyer ovanpå samma orörda loggar.

Athena läser tabelldefinitioner från AWS Glue Data Catalog, ett centralt metadataarkiv. En tabell kopplar en plats i S3 och ett format till kolumner och datatyper. När tabellen har katalogiserats är den tillgänglig för Athena och andra analystjänster, vilket ger er en gemensam definition av loggdata.

Athena kan köra frågor mot många format: JSON, CSV, Apache Parquet, ORC och Avro. CloudTrail-loggar är JSON och Flow Logs är text med fält separerade av blanksteg. Kolumnbaserade format som Parquet är mycket effektivare eftersom Athena endast läser de kolumner som en fråga behöver, vilket minskar mängden genomsökt data och sänker kostnaden.

Ni kör frågor i Athena-konsolen, via API:t eller CLI:t, och resultaten skrivs till en plats för frågeresultat i S3. En enkel undersökningsfråga kan exempelvis räkna misslyckade konsolinloggningar per användare. Athena returnerar resultaten på några sekunder till några minuter beroende på datamängden, utan någon infrastruktur att administrera.

Åtkomst till Athena styrs av IAM-policyer, och frågor kan endast läsa S3-data som anroparen har behörighet att komma åt. Ni bör även kryptera platsen för frågeresultat, eftersom resultaten kan innehålla känsligt logginnehåll. Med workgroups kan ni separera team, kräva kryptering av resultat och ange gränser för hur mycket data varje fråga får genomsöka.

Utöver S3 kan Athenas federerade frågor nå andra datakällor, som DynamoDB eller RDS, via anslutningsprogram. Även om de flesta analyser av säkerhetsloggar riktar sig mot S3 gör federation det möjligt att koppla samman loggdata med referensdata, till exempel ett tillgångsregister, för att berika en undersökning utan att först flytta allt till S3.

Workgroups isolerar frågor, resultat och inställningar för olika team. En workgroup kan kräva en krypterad plats för resultat, ange en separat bucket för frågeresultat och begränsa antalet byte som en enskild fråga får genomsöka. Detta begränsar både kostnaderna och ser till att ett teams känsliga undersökningsresultat hålls åtskilda från ett annat teams.

Använd Athena när ni behöver analysera stora mängder historiska loggar tillfälligt, särskilt CloudTrail och Flow Logs i S3. För aviseringar i realtid förlitar ni er fortfarande på CloudWatch och GuardDuty. Athena är verktyget för djupgående undersökningar i efterhand och rapportering över enorma datamängder.

Amazon Athena kör SQL direkt på data i S3, är serverlös och prissätts utifrån genomsökt data. Tjänsten använder schema-on-read med tabelldefinitioner i Glue Data Catalog och stöder format som JSON samt det effektiva formatet Parquet. Skydda den med IAM, krypterade platser för resultat och workgroups. Det är förstahandsverktyget för djupgående analys i efterhand av CloudTrail och Flow Logs.