Logs partitioneren voor snelheid en kosten

Omdat Athena kosten in rekening brengt op basis van gescande gegevens, verspil je geld en tijd als je een jaar aan logboeken opvraagt om gebeurtenissen van één dag te vinden. Partitionering is de techniek waarmee Athena alleen het relevante deel van de gegevens leest, waardoor query's veel sneller en goedkoper worden. Dit is de belangrijkste optimalisatie voor Athena.

Een partitie verdeelt de gegevens van een tabel op basis van de waarden van een of meer kolommen, meestal datumonderdelen die aan S3-prefixes zijn gekoppeld. CloudTrail-logboeken zijn al ingedeeld volgens region/year/month/day. Door hierop te partitioneren, sluit je aan bij de fysieke structuur en kan Athena mappen buiten je query overslaan.

Wanneer een query op een partitiekolom filtert, voert Athena partitiepruning uit: het leest alleen de overeenkomende prefixes en negeert de rest. Een query voor één dag met de juiste partities scant maar een klein deel van de bucket. Zonder pruning zou dezelfde query alles scannen, zelfs gegevens die onmogelijk nodig kunnen zijn.

Je kunt partities registreren met ALTER TABLE ADD PARTITION en daarbij een partitie waarde aan de S3-locatie koppelen. Dit werkt, maar is omslachtig voor dagelijkse loggegevens omdat je elke dag een partitie zou moeten toevoegen. Het is geschikt voor eenmalige historische ladingen, maar schaalt niet voor doorlopende logboeken.

Partitieprojectie is de moderne, aanbevolen aanpak: je vertelt Athena wat het partitiepatroon is, bijvoorbeeld datums binnen een bereik, waarna Athena de prefixes tijdens het opvragen berekent zonder elke partitie in de catalogus op te slaan. Voor voortdurend groeiende CloudTrail- en Flow Log-gegevens voorkomt dit voortdurend onderhoud en blijft pruning automatisch werken.

Een Glue crawler kan ook volgens een schema nieuwe partities ontdekken en aan de catalogus toevoegen. Zo automatiseer je het partitiebeheer voor veranderende gegevens. Voor voorspelbare indelingen op basis van datums is partitieprojectie echter meestal eenvoudiger en zijn er geen crawlerkosten.

Partitionering beperkt welke bestanden worden gelezen; kolomindelingen zoals Parquet beperken welke kolommen binnen die bestanden worden gelezen. Door beide te combineren — logboeken naar Parquet converteren en op datum partitioneren — kun je de hoeveelheid gescande gegevens met ordes van grootte verminderen. Veel teams voeren een conversietaak uit om query-geoptimaliseerde kopieën van logboeken met een groot volume op te slaan.

Door loggegevens te comprimeren met indelingen zoals GZIP of Snappy, verlaag je de hoeveelheid gescande bytes en de opslagkosten verder. Athena leest gecomprimeerde bestanden transparant. In combinatie met partitionering en opslag in kolomindeling maakt compressie de reeks van drie technieken compleet die grootschalige loganalyse betaalbaar maken.

Partitioneer beveiligingslogboeken voornamelijk op datum, omdat onderzoeken aan een periode zijn gebonden. Overweeg voor organisatietrails ook partitionering op account of regio, zodat je snel één account kunt selecteren. De juiste partitiesleutels weerspiegelen hoe je onderzoeken daadwerkelijk filteren, waardoor pruning voor echte query's maximaal wordt benut.

Athena rapporteert de hoeveelheid gescande gegevens per query. Door deze statistiek te volgen, zie je of partitionering werkt: een goed gepartitioneerde query met een begrensde periode hoort megabytes en geen terabytes te scannen. Als een query veel meer scant dan verwacht, sluit je filter waarschijnlijk niet aan op de partitie kolommen.

De optimalisatielaag bestaat uit partitionering om irrelevante gegevens over te slaan, een kolomindeling om alleen benodigde kolommen te lezen en compressie om het aantal bytes te verkleinen. Toegepast op CloudTrail en Flow Logs veranderen deze technieken trage, dure scans in snelle, goedkope onderzoeken — precies wat grootschalige beveiligingsanalyse vereist.

Partitionering verdeelt tabelgegevens op basis van kolommen (meestal datum), zodat Athena partitiepruning kan uitvoeren en alleen relevante prefixes scant. Daarmee bespaar je tijd en kosten. Geef voor groeiende logboeken de voorkeur aan partitieprojectie boven handmatige ADD PARTITION of crawlers. Combineer partities met kolomindeling in Parquet en compressie voor grote besparingen, partitioneer beveiligingslogboeken op datum en account en houd de statistiek voor gescande gegevens in de gaten.