Partitionner les journaux pour gagner en rapidité et en coût

Comme Athena facture les données analysées, interroger une année de journaux pour trouver les événements d'une seule journée fait perdre du temps et de l'argent. Le partitionnement permet à Athena de ne lire que la portion pertinente des données, ce qui rend les interrogations beaucoup plus rapides et moins coûteuses. Il s'agit de l'optimisation Athena la plus importante.

Une partition divise les données d'une table selon les valeurs d'une ou plusieurs colonnes, généralement des composantes de date associées à des préfixes S3. Les journaux CloudTrail sont déjà organisés par région/année/mois/jour ; partitionner selon ces éléments correspond donc à la structure physique et permet à Athena d'ignorer les dossiers qui ne relèvent pas de votre interrogation.

Lorsqu'une interrogation filtre sur une colonne de partition, Athena effectue un élagage des partitions : elle ne lit que les préfixes correspondants et ignore les autres. Une interrogation portant sur une seule journée et utilisant correctement les partitions n'analyse qu'une infime partie du compartiment. Sans élagage, la même interrogation analyserait tout, y compris les données dont elle ne peut avoir besoin.

Pour enregistrer des partitions, vous pouvez utiliser ALTER TABLE ADD PARTITION et associer une valeur de partition à son emplacement S3. Cette méthode fonctionne, mais elle est fastidieuse pour les données de journaux quotidiennes, car vous devez ajouter une partition chaque jour. Elle convient aux chargements historiques ponctuels, mais ne s'adapte pas aux journaux continus.

La projection des partitions est l'approche moderne recommandée : vous indiquez à Athena le modèle des partitions, par exemple des dates comprises dans une plage, et elle calcule les préfixes au moment de l'interrogation sans enregistrer chaque partition dans le catalogue. Pour les données CloudTrail et les journaux de flux qui augmentent continuellement, cela évite une maintenance constante et maintient l'élagage automatique.

Un robot Glue peut également découvrir les nouvelles partitions selon un calendrier et les ajouter au catalogue. Cela automatise la gestion des partitions pour les données qui évoluent, mais pour les structures prévisibles fondées sur les dates, la projection des partitions est généralement plus simple et n'entraîne aucun coût de robot.

Le partitionnement limite les fichiers lus ; les formats en colonnes comme Parquet limitent les colonnes lues dans ces fichiers. En combinant les deux, en convertissant les journaux au format Parquet et en les partitionnant par date, vous pouvez réduire de plusieurs ordres de grandeur la quantité de données analysées. De nombreuses équipes exécutent une tâche de conversion pour stocker des copies de journaux à volume élevé optimisées pour les interrogations.

Compresser les données de journaux avec des formats comme GZIP ou Snappy réduit encore le nombre d'octets analysés et le coût du stockage. Athena lit les fichiers compressés de manière transparente. Associée au partitionnement et au stockage en colonnes, la compression complète le trio de techniques qui rend abordable l'analyse de journaux à grande échelle.

Pour les journaux de sécurité, partitionnez principalement par date, car les investigations sont limitées dans le temps, et envisagez un partitionnement par compte ou région pour les journaux d'organisation afin de cibler rapidement un compte. Les bonnes clés de partition reflètent la manière dont vos investigations filtrent réellement les données et maximisent l'élagage pour les interrogations courantes.

Athena indique la quantité de données analysées pour chaque interrogation. Surveiller cette métrique vous permet de vérifier que le partitionnement fonctionne : une interrogation bien partitionnée et limitée dans le temps devrait analyser des mégaoctets, et non des téraoctets. Si une interrogation analyse bien plus de données que prévu, son filtre ne correspond probablement pas aux colonnes de partition.

La pile d'optimisation consiste à utiliser une partition pour ignorer les données sans rapport, un format en colonnes pour ne lire que les colonnes nécessaires et la compression pour réduire le nombre d'octets. Appliquées à CloudTrail et aux journaux de flux, ces techniques transforment des analyses lentes et coûteuses en investigations rapides et économiques, exactement ce qu'exige l'analyse de sécurité à grande échelle.

Testez vos connaissances sur le partitionnement.

Le partitionnement divise les données d'une table selon des colonnes, généralement la date, afin qu'Athena effectue un élagage des partitions et n'analyse que les préfixes pertinents, ce qui réduit le coût et la durée. Préférez la projection des partitions à ADD PARTITION manuel ou aux robots pour les journaux qui s'accumulent. Combinez les partitions avec le format en colonnes Parquet et la compression pour réaliser d'importantes économies, partitionnez les journaux de sécurité par date et par compte, puis surveillez la métrique des données analysées.