Taulukoiden luominen CloudTrail-datan päälle

Athena ei voi kysellä S3:n raakatiedostoja, ennen kuin kerrot sille, miten niitä luetaan. Taulu yhdistää S3-säilössä olevat CloudTrail-JSON-tiedostot nimettyihin ja tyypitettyihin sarakkeisiin. Kun taulu on olemassa, CloudTrail-tapahtumien monipuoliseen rakenteeseen voidaan viitata tavallisella SQL:llä.

CloudTrail toimittaa tapahtumat JSON-muodossa. Kukin tietue kuvaa yhtä API-kutsua ja sisältää sisäkkäisiä kenttiä, kuten userIdentity, eventName, sourceIPAddress ja requestParameters. Taulun skeeman on vastattava tätä sisäkkäisyyttä, mukaan lukien objektien struct-tyypit, jotta kyselyillä voidaan käyttää kenttiä, kuten userIdentity.arn.

Skeemaa ei tarvitse kirjoittaa käsin. AWS julkaisee CloudTrailille vakiomuotoisen CREATE TABLE -lauseen, ja CloudTrail-konsoli sekä Athena voivat luoda sen puolestasi. Valmiin DDL:n käyttäminen varmistaa, että jokainen kenttä, myös syvälle sisäkkäiset kentät, yhdistetään oikein, jotta kyselyistäsi ei jää tietoja puuttumaan.

SerDe (Serializer/Deserializer) kertoo Athenalle, miten kukin tiedosto jäsennetään. CloudTrail-taulut käyttävät CloudTrailin JSON-rakenteelle suunniteltua SerDeä, joka ymmärtää records-taulukon ja sisäkkäiset rakenteet. Oikean SerDe:n valinta on olennaista, sillä väärä valinta aiheuttaa jäsennysvirheitä tai NULL-arvoja sarakkeisiin.

Taulun LOCATION-lauseke osoittaa S3-etuliitteeseen, johon CloudTrail tallentaa lokit. Polku sisältää yleensä tilin tunnuksen ja alueen. Etuliitteen määrittäminen oikein on tärkeää: liian laaja rajaus sisältää tarpeettomia tietoja, kun taas liian suppea rajaus jättää pois tapahtumia, joita oli tarkoitus kysellä.

Kun taulu on luotu, sisäkkäisiä kenttiä kysellään piste-merkintää käyttämällä, esimerkiksi userIdentity.arn tai requestParameters.bucketName. SQL-funktiot auttavat taulukoiden ja JSON-merkkijonojen purkamisessa. Tässä Athena on erityisen hyödyllinen tutkinnassa: voitte suodattaa tarkasti minkä tahansa API-kutsun tapahtumanimen, pääkäyttäjän ja parametrien perusteella.

Manuaalisen DDL:n sijaan AWS Glue crawler voi käydä S3-tiedot läpi ja päätellä skeeman automaattisesti Data Catalogiin. Tunnetuille muodoille, kuten CloudTrailille, toimitettu DDL on yleensä selkeämpi, mutta crawlerit ovat hyödyllisiä mukautetuille tai muuttuville lokimuodoille, kun skeemaa ei haluta kirjoittaa käsin.

CloudTrailin JSON sisältää kenttiä, jotka ovat itse JSON-merkkijonoja, kuten requestParameters, kun arvot vaihtelevat palvelun mukaan. Usein jäsennätte nämä kyselyhetkellä JSON-funktioilla. Kun tiedätte, että jotkin sarakkeet ovat jäsennettäviä merkkijonoja eivätkä valmiiksi jäsenneltyjä sarakkeita, vältätte hämmennyksen silloin, kun kenttä ei käyttäydy tavallisen sarakkeen tavoin.

organization trail -lokit kaikilta tileiltä päätyvät samaan buckettiin tilikohtaisten etuliitteiden alle. Voitte luoda yhden taulun koko etuliitteelle ja kysellä kaikkien tilien tietoja kerralla tai käyttää erillisiä tauluja tilien eristämiseen. Yhdistetty taulu on tehokas väline koko organisaation kattavaan uhkien etsintään yhdellä kyselyllä.

Kun taulu on luotu, suorittakaa nopea SELECT-kysely pienellä LIMIT-arvolla varmistaaksenne, että rivejä palautuu ja sarakkeet täyttyvät odotetusti. Jos sarakkeet ovat NULL-arvoja, SerDe, sijainti tai skeema on todennäköisesti määritetty väärin. Tämä järkevyystarkistus estää rakentamasta tutkintaa huomaamatta rikkoutuneen taulun varaan.

Kun CloudTrail-taulu on määritetty oikein, käytettävissänne on kyseltävä auditointipolku koko tallennetulta ajalta. Jokainen konsolikirjautuminen, API-kutsu ja virhe on nyt rivi, jota voitte suodattaa ja koostaa. Tämä taulu toimii perustana tapahtumakyselyille, jotka kirjoitatte seuraavaksi.

CloudTrailin kyselemiseksi Athenassa luotte table-taulun, joka yhdistää JSON-tiedostot sarakkeisiin AWS:n toimittaman CREATE TABLE DDL -määrityksen, oikean SerDe-toteutuksen ja oikean S3-LOCATION-sijainnin avulla. Kyselkää nested fields -kenttiä piste-merkinnällä, jäsentäkää JSON-merkkijonosarakkeet kyselyhetkellä ja tarkistakaa tulos pienellä SELECT-kyselyllä. organization trail voi käyttää yhtä taulua koko organisaation kattavaan uhkien etsintään.