Interrogare i log S3 con Athena

Amazon Athena è un servizio serverless per query interattive che esegue SQL standard direttamente sui dati archiviati in Amazon S3. Non è necessario predisporre o gestire alcun database: si indica ad Athena la posizione dei dati in S3, si definisce uno schema e si eseguono le query. Questo lo rende ideale per analizzare gli enormi file di log prodotti da AWS.

Athena è serverless e il costo viene calcolato per query in base alla quantità di dati analizzati. Non vi sono costi di inattività quando non si eseguono query. Questo modello di prezzo incentiva query efficienti e dati ben organizzati, poiché analizzare meno dati è più veloce e meno costoso: un tema ricorrente nell'uso di Athena.

La sicurezza genera enormi quantità di log: CloudTrail, VPC Flow Logs, log di accesso ALB e altri ancora, tutti archiviati in S3. Athena consente di analizzarli con il familiare linguaggio SQL invece di creare una pipeline di dati. Durante un incidente è possibile cercare in pochi minuti mesi di cronologia tra miliardi di record, esattamente ciò che richiedono le attività di indagine.

Athena utilizza il modello schema-on-read: si definisce uno schema di tabella che descrive come interpretare i file in S3 e lo schema viene applicato durante l'esecuzione della query, non quando i dati vengono archiviati. I file di log原 non vengono mai modificati. È quindi possibile creare in qualsiasi momento nuove tabelle e viste sugli stessi log intatti.

Athena legge le definizioni delle tabelle dal AWS Glue Data Catalog, un archivio centrale di metadati. Una tabella associa una posizione in S3 e un formato a colonne e tipi. Dopo la catalogazione, la tabella è disponibile ad Athena e agli altri servizi di analisi, offrendo un'unica definizione condivisa dei dati di log.

Athena esegue query su molti formati: JSON, CSV, Apache Parquet, ORC e Avro. I log di CloudTrail sono in JSON, mentre i Flow Logs sono testo delimitato da spazi. I formati colonnari come Parquet sono molto più efficienti perché Athena legge solo le colonne necessarie alla query, analizzando meno dati e riducendo i costi.

È possibile eseguire query nella console di Athena, tramite l'API o la CLI; i risultati vengono scritti in una posizione dei risultati delle query in S3. Una semplice query di analisi potrebbe contare gli accessi alla console non riusciti per utente. Athena restituisce i risultati in pochi secondi o minuti, a seconda del volume di dati, senza infrastruttura da gestire.

L'accesso ad Athena è regolato dalle policy IAM e le query possono leggere solo i dati S3 a cui il chiamante è autorizzato ad accedere. È inoltre opportuno crittografare la posizione dei risultati delle query, poiché i risultati possono contenere contenuti di log sensibili. I workgroup consentono di separare i team, imporre la crittografia dei risultati e definire limiti per la quantità di dati analizzati da ciascuna query.

Oltre a S3, le query federate di Athena possono accedere ad altre origini dati, come DynamoDB o RDS, tramite connettori. Sebbene la maggior parte delle analisi dei log di sicurezza riguardi dati in S3, la federazione consente di unire i dati di log a dati di riferimento, come un inventario delle risorse, per arricchire un'indagine senza dover trasferire prima tutto in S3.

I workgroup isolano query, risultati e impostazioni per team diversi. Un workgroup può imporre una posizione crittografata per i risultati, impostare un bucket separato per i risultati delle query e limitare il numero di byte che una singola query può analizzare. In questo modo contiene i costi e mantiene separati i risultati delle indagini sensibili di un team da quelli degli altri.

Utilizzi Athena quando deve analizzare in modo estemporaneo grandi volumi di log storici, soprattutto CloudTrail e Flow Logs in S3. Per gli avvisi in tempo reale si affidano ancora a CloudWatch e GuardDuty; Athena è lo strumento per analisi approfondite a posteriori e report su grandi quantità di dati.

Verifichi le proprie conoscenze fondamentali su Athena.

Amazon Athena esegue SQL direttamente sui dati di S3, è serverless e ha un costo basato sui dati analizzati. Utilizza il modello schema-on-read, con definizioni delle tabelle nel Glue Data Catalog, e supporta formati come JSON e l'efficiente Parquet. Lo si protegge con IAM, posizioni dei risultati crittografate e workgroup. È lo strumento di riferimento per l'analisi approfondita a posteriori di CloudTrail e Flow Logs.