Partizionare i log per velocità e costi

Poiché Athena addebita i costi in base ai dati analizzati, interrogare un anno di log per trovare gli eventi di un solo giorno fa sprecare tempo e denaro. Il partizionamento è la tecnica che consente ad Athena di leggere solo la porzione di dati pertinente, rendendo le query molto più rapide ed economiche. È la più importante ottimizzazione per Athena.

Una partizione suddivide i dati di una tabella in base ai valori di una o più colonne, in genere componenti della data, associati a prefissi S3. I log CloudTrail sono già organizzati secondo region/year/month/day, quindi partizionare in base a questi elementi rispecchia la struttura fisica e consente ad Athena di ignorare le cartelle che non rientrano nella query.

Quando una query filtra in base a una colonna di partizione, Athena esegue la potatura delle partizioni: legge solo i prefissi corrispondenti e ignora gli altri. Una query relativa a un solo giorno, con partizioni configurate correttamente, analizza una frazione minima del bucket. Senza questa potatura, la stessa query analizzerebbe tutto, compresi i dati di cui non può avere bisogno.

Un modo per registrare le partizioni consiste nell'usare ALTER TABLE ADD PARTITION, associando un valore di partizione alla relativa posizione S3. Questo metodo funziona, ma è laborioso per i dati di log giornalieri, poiché richiederebbe l'aggiunta di una partizione ogni giorno. È adatto per caricamenti storici una tantum, ma non è scalabile per i log acquisiti continuamente.

La proiezione delle partizioni è l'approccio moderno consigliato: si comunica ad Athena il pattern delle partizioni, ad esempio le date comprese in un intervallo, e Athena calcola i prefissi al momento della query senza memorizzare ogni partizione nel catalogo. Per i dati CloudTrail e Flow Log in continua crescita, questo evita la manutenzione costante e mantiene automatica la potatura.

Un Glue crawler può anche individuare periodicamente le nuove partizioni e aggiungerle al catalogo. In questo modo la gestione delle partizioni per dati soggetti a evoluzione viene automatizzata; tuttavia, per strutture prevedibili basate sulle date, la proiezione delle partizioni è in genere più semplice e non comporta costi per il crawler.

Il partizionamento limita i file letti, mentre i formati colonnari come Parquet limitano le colonne lette all'interno di tali file. La combinazione dei due approcci, convertendo i log in Parquet e partizionandoli per data, può ridurre di diversi ordini di grandezza i dati analizzati. Molti team eseguono un processo di conversione per archiviare copie dei log ad alto volume ottimizzate per le query.

La compressione dei dati di log con formati come GZIP o Snappy riduce ulteriormente i byte analizzati e i costi di archiviazione. Athena legge i file compressi in modo trasparente. Insieme al partizionamento e all'archiviazione colonnare, la compressione completa il trittico di tecniche che rende economicamente sostenibile l'analisi dei log su larga scala.

Per i log di sicurezza, partizioni principalmente per data, poiché le analisi sono limitate nel tempo, e valuti il partizionamento per account o regione per gli organization trail, così da poter individuare rapidamente un singolo account. Le chiavi di partizione corrette rispecchiano il modo in cui le analisi filtrano effettivamente i dati e massimizzano la potatura nelle query reali.

Athena comunica la quantità di dati analizzati per ogni query. Monitorare questa metrica indica se il partizionamento funziona: una query limitata nel tempo e partizionata correttamente dovrebbe analizzare megabyte, non terabyte. Se una query analizza molti più dati del previsto, probabilmente il filtro non è allineato alle colonne di partizione.

La sequenza di ottimizzazione consiste nel partizionamento per saltare i dati irrilevanti, nel formato colonnare per leggere solo le colonne necessarie e nella compressione per ridurre i byte. Applicate a CloudTrail e ai Flow Logs, queste tecniche trasformano analisi lente e costose in indagini rapide ed economiche, proprio ciò che richiede l'analisi della sicurezza su larga scala.

Verifichi le sue conoscenze sul partizionamento.

Il partizionamento suddivide i dati della tabella in base alle colonne, in genere la data, così Athena può eseguire la potatura delle partizioni e analizzare solo i prefissi pertinenti, riducendo costi e tempi. Per i log in crescita, preferisca la proiezione delle partizioni all'uso manuale di ADD PARTITION o dei crawler. Combini le partizioni con Parquet colonnare e compressione per ottenere grandi risparmi, partizioni i log di sicurezza per data e account e monitori la metrica dei dati analizzati.