Tabellen op CloudTrail-data bouwen

Athena kan onbewerkte S3-bestanden niet opvragen totdat je aangeeft hoe ze moeten worden gelezen. Een tabel koppelt de CloudTrail-JSON-bestanden in je S3-bucket aan benoemde kolommen met typen. Zodra de tabel bestaat, kun je de rijke structuur van CloudTrail-gebeurtenissen met gewone SQL benaderen.

CloudTrail levert gebeurtenissen als JSON. Elk record beschrijft één API-aanroep met geneste velden zoals userIdentity, eventName, sourceIPAddress en requestParameters. Het tabelschema moet deze nesting weerspiegelen, inclusief struct-typen voor objecten, zodat query's velden zoals userIdentity.arn kunnen benaderen.

Je hoeft het schema niet zelf volledig te schrijven. AWS publiceert een standaardinstructie CREATE TABLE voor CloudTrail, en de CloudTrail-console en Athena kunnen deze voor je genereren. Door de geleverde DDL te gebruiken, zorg je ervoor dat elk veld, ook diep geneste velden, correct wordt gekoppeld en dat je query's geen gegevens overslaan.

Een SerDe (Serializer/Deserializer) vertelt Athena hoe elk bestand moet worden geparseerd. CloudTrail-tabellen gebruiken een SerDe die is ontworpen voor de JSON-indeling van CloudTrail en die de records-array en geneste structuren begrijpt. De juiste SerDe kiezen is essentieel: de verkeerde SerDe leidt tot parsefouten of kolommen met null-waarden.

De LOCATION-clausule van de tabel verwijst naar het S3-prefix waar CloudTrail logboeken opslaat, meestal een pad met de account-ID en regio. Het is belangrijk dat dit prefix klopt: als het te breed is, scan je irrelevante gegevens; als het te smal is, mis je gebeurtenissen die je had willen opvragen.

Nu de tabel is opgebouwd, vraag je geneste velden op met puntnotatie, zoals userIdentity.arn of requestParameters.bucketName. SQL-functies helpen bij het uitpakken van arrays en JSON-tekenreeksen. Hier komt Athena goed tot zijn recht bij onderzoeken: je kunt nauwkeurig filteren op de naam, principal en parameters van elke API-aanroep.

In plaats van handmatige DDL kan een AWS Glue crawler de S3-gegevens scannen en automatisch een schema afleiden in de Data Catalog. Voor bekende indelingen zoals CloudTrail is de meegeleverde DDL meestal overzichtelijker, maar crawlers zijn handig voor aangepaste of veranderende logindelingen waarbij je het schema liever niet handmatig schrijft.

CloudTrail-JSON bevat velden die zelf JSON-tekenreeksen zijn, zoals requestParameters wanneer waarden per service verschillen. Vaak parse je deze tijdens het opvragen met JSON-functies. Als je weet dat sommige kolommen tekenreeksen zijn die nog moeten worden geparsed en geen vooraf gestructureerde kolommen zijn, voorkom je verwarring wanneer een veld zich niet gedraagt als een normale kolom.

Bij een organisatietrail komen de logboeken van alle accounts in één bucket terecht, met prefixes per account. Je kunt één tabel opbouwen voor het volledige prefix om alle accounts tegelijk op te vragen, of tabellen per account maken voor isolatie. Eén geïntegreerde tabel is krachtig voor dreigingsonderzoek in de hele organisatie met één query.

Voer na het maken van de tabel een snelle SELECT uit met een kleine LIMIT om te controleren of er rijen worden geretourneerd en de kolommen zoals verwacht worden gevuld. Als kolommen null zijn, klopt de SerDe, locatie of het schema waarschijnlijk niet. Deze plausibiliteitscontrole voorkomt dat je onderzoeken opbouwt rond een stilletjes defecte tabel.

Zodra de CloudTrail-tabel klopt, beschik je over een audittrail waarover je query's kunt uitvoeren en die de volledige vastgelegde geschiedenis omvat. Elke aanmelding bij de console, API-aanroep en fout is nu een rij waarop je kunt filteren en die je kunt aggregeren. Deze tabel vormt de basis voor de incidentquery's die je hierna schrijft.

Om CloudTrail in Athena op te vragen, bouw je een tabel die de JSON-bestanden aan kolommen koppelt. Daarbij gebruik je de door AWS geleverde CREATE TABLE DDL, de juiste SerDe en de juiste S3-LOCATION. Vraag geneste velden op met puntnotatie, parse kolommen met JSON-tekenreeksen tijdens het opvragen en controleer het resultaat met een kleine SELECT. Een organisatietrail kan uit één tabel bestaan voor dreigingsonderzoek in de hele organisatie.