Creare tabelle sui dati CloudTrail

Athena non può eseguire query sui file S3 grezzi finché non si specifica come interpretarli. Una tabella associa i file JSON di CloudTrail nel bucket S3 a colonne denominate e dotate di tipo. Una volta creata la tabella, la ricca struttura degli eventi CloudTrail diventa accessibile tramite il normale linguaggio SQL.

CloudTrail fornisce gli eventi in formato JSON; ogni record descrive una chiamata API con campi nidificati come userIdentity, eventName, sourceIPAddress e requestParameters. Lo schema della tabella deve rispecchiare questa struttura nidificata, includendo tipi struct per gli oggetti, così le query possono raggiungere campi come userIdentity.arn.

Non è necessario scrivere manualmente lo schema. AWS pubblica un'istruzione CREATE TABLE standard per CloudTrail e la console di CloudTrail e Athena possono generarla automaticamente. Utilizzare il DDL fornito garantisce che ogni campo, inclusi quelli profondamente nidificati, venga mappato correttamente, evitando che le query perdano dati.

Un SerDe (Serializer/Deserializer) indica ad Athena come analizzare ogni file. Le tabelle CloudTrail usano un SerDe progettato per la struttura JSON di CloudTrail, in grado di interpretare l'array dei record e le strutture annidate. Scegliere il SerDe corretto è essenziale: quello sbagliato produce errori di analisi o colonne con valore null.

La clausola LOCATION della tabella punta al prefisso S3 in cui CloudTrail archivia i log, in genere un percorso che include l'ID dell'account e la regione. È importante specificare correttamente questo prefisso: se è troppo ampio, verranno analizzati dati irrilevanti; se è troppo ristretto, verranno ignorati eventi che si intendeva interrogare.

Una volta creata la tabella, è possibile interrogare i campi annidati usando la notazione con il punto, ad esempio userIdentity.arn o requestParameters.bucketName. Le funzioni SQL aiutano a estrarre i dati dagli array e dalle stringhe JSON. È qui che Athena dà il meglio di sé nelle attività di analisi: è possibile filtrare con precisione in base al nome dell'evento, al principal e ai parametri di qualsiasi chiamata API.

In alternativa al DDL manuale, un AWS Glue crawler può analizzare i dati in S3 e dedurre automaticamente uno schema da inserire nel Data Catalog. Per formati noti come CloudTrail, il DDL fornito è in genere più pulito, ma i crawler sono utili per formati di log personalizzati o soggetti a evoluzione, quando si preferisce non scrivere lo schema manualmente.

Il JSON di CloudTrail contiene campi che sono a loro volta stringhe JSON, come requestParameters quando i valori variano a seconda del servizio. Spesso questi campi vengono analizzati al momento dell'interrogazione tramite funzioni JSON. Sapere che alcune colonne sono stringhe da analizzare, anziché colonne già strutturate, evita confusione quando un campo non si comporta come una colonna normale.

Per un organization trail, i log di tutti gli account vengono archiviati in un unico bucket, usando prefissi specifici per account. È possibile creare una singola tabella sull'intero prefisso per interrogare tutti gli account contemporaneamente, oppure tabelle separate per account, così da mantenerli isolati. Una tabella unificata è molto efficace per la ricerca di minacce nell'intera organizzazione con una sola query.

Dopo aver creato la tabella, esegua un rapido SELECT con un LIMIT ridotto per verificare che vengano restituiti righe e che le colonne siano valorizzate come previsto. Se le colonne contengono valori null, probabilmente il SerDe, la posizione o lo schema non sono corretti. Questa verifica preliminare evita di basare le analisi su una tabella danneggiata senza accorgersene.

Una volta corretta la tabella CloudTrail, si dispone di un audit trail interrogabile che copre tutta la cronologia registrata. Ogni accesso alla console, chiamata API ed errore è ora una riga che è possibile filtrare e aggregare. Questa tabella è la base per le query sugli incidenti che verranno scritte in seguito.

Verifichi le sue conoscenze sulla creazione delle tabelle.

Per interrogare CloudTrail in Athena, è necessario creare una table che associ i file JSON alle colonne, usando il CREATE TABLE DDL fornito da AWS, il SerDe corretto e la LOCATION S3 appropriata. Interroghi i nested fields con la notazione con il punto, analizzi le colonne contenenti stringhe JSON al momento della query e verifichi il risultato con un piccolo SELECT. Un organization trail può essere rappresentato da un'unica tabella per la ricerca di minacce nell'intera organizzazione.