S3-logs opvragen met Athena

Amazon Athena is een serverloze, interactieve queryservice die standaard-SQL rechtstreeks uitvoert op gegevens in Amazon S3. Je hoeft geen database in te richten of te beheren: je verwijst Athena naar gegevens in S3, definieert een schema en voert query's uit. Daardoor is Athena ideaal voor het analyseren van de enorme logbestanden die AWS produceert.

Athena is serverloos en je betaalt per query op basis van de hoeveelheid gescande gegevens. Als je geen query's uitvoert, zijn er geen kosten voor inactiviteit. Dit prijsmodel beloont efficiënte query's en goed georganiseerde gegevens, omdat het scannen van minder gegevens zowel sneller als goedkoper is. Dat thema keert steeds terug bij het gebruik van Athena.

Beveiliging genereert enorme hoeveelheden logboeken: CloudTrail, VPC Flow Logs, ALB-toegangslogboeken en meer. Deze komen allemaal in S3 terecht. Met Athena kun je ze met vertrouwde SQL onderzoeken in plaats van een gegevenspijplijn te bouwen. Tijdens een incident kun je in enkele minuten maanden aan geschiedenis en miljarden records doorzoeken, precies wat onderzoeken vereisen.

Athena gebruikt een schema bij het lezen: je definieert een tabelschema dat beschrijft hoe bestanden in S3 moeten worden geïnterpreteerd. Het schema wordt toegepast wanneer je een query uitvoert, niet wanneer de gegevens worden opgeslagen. De onbewerkte logbestanden worden nooit gewijzigd. Je kunt dus op elk moment nieuwe tabellen en weergaven boven op dezelfde ongewijzigde logboeken leggen.

Athena leest tabeldefinities uit de AWS Glue Data Catalog, een centrale opslagplaats voor metagegevens. Een tabel koppelt een locatie in S3 en een indeling aan kolommen en typen. Zodra de tabel is opgenomen in de catalogus, is deze beschikbaar voor Athena en andere analysediensten. Zo beschik je over één gedeelde definitie van je loggegevens.

Athena kan query's uitvoeren op veel indelingen: JSON, CSV, Apache Parquet, ORC en Avro. CloudTrail-logboeken zijn JSON en Flow Logs zijn tekst met spaties als scheidingstekens. Kolomindelingen zoals Parquet zijn veel efficiënter, omdat Athena alleen de kolommen leest die een query nodig heeft. Daardoor worden minder gegevens gescand en dalen de kosten.

Je voert query's uit in de Athena-console, via de API of met de CLI. De resultaten worden naar een S3-locatie voor queryresultaten geschreven. Een eenvoudige query voor onderzoek kan bijvoorbeeld het aantal mislukte console-aanmeldingen per gebruiker tellen. Athena levert resultaten binnen seconden tot minuten, afhankelijk van de hoeveelheid gegevens, zonder infrastructuur die je moet beheren.

Toegang tot Athena wordt geregeld met IAM-beleidsregels, en query's kunnen alleen S3-gegevens lezen waarvoor de aanroeper toestemming heeft. Je moet ook de locatie voor queryresultaten versleutelen, omdat de resultaten gevoelige loginhoud kunnen bevatten. Met werkgroepen kun je teams scheiden, versleuteling van resultaten afdwingen en limieten instellen voor de hoeveelheid gegevens die per query mag worden gescand.

Naast S3 kunnen met gefedereerde query's in Athena ook andere gegevensbronnen, zoals DynamoDB of RDS, via connectors worden benaderd. Hoewel de meeste analyses van beveiligingslogboeken op S3 zijn gericht, kun je met federatie loggegevens koppelen aan referentiegegevens, zoals een inventaris van bedrijfsmiddelen, om een onderzoek te verrijken zonder eerst alles naar S3 te verplaatsen.

Met werkgroepen kun je query's, resultaten en instellingen voor verschillende teams van elkaar isoleren. Een werkgroep kan een versleutelde locatie voor resultaten afdwingen, een afzonderlijke S3-bucket voor queryresultaten instellen en een maximum instellen voor het aantal bytes dat één query mag scannen. Zo houd je de kosten onder controle en blijven de gevoelige onderzoeksresultaten van het ene team gescheiden van die van een ander team.

Gebruik Athena wanneer je grote hoeveelheden historische logboeken tijdelijk en gericht wilt analyseren, vooral CloudTrail en Flow Logs in S3. Voor realtime waarschuwingen blijf je CloudWatch en GuardDuty gebruiken. Athena is het hulpmiddel voor diepgaande onderzoeken achteraf en rapportage over enorme gegevensverzamelingen.

Amazon Athena voert SQL rechtstreeks uit op S3-gegevens. De service is serverloos en de prijs is gebaseerd op de gescande gegevens. Athena gebruikt een schema bij het lezen met tabeldefinities in de Glue Data Catalog en ondersteunt indelingen zoals JSON en het efficiënte Parquet. Beveilig Athena met IAM, versleutelde locaties voor resultaten en werkgroepen. Het is het aangewezen hulpmiddel voor diepgaande analyses achteraf van CloudTrail en Flow Logs.