Interroger les journaux S3 avec Athena

Amazon Athena est un service de requêtes interactif et sans serveur qui exécute du SQL standard directement sur les données stockées dans Amazon S3. Il n'y a aucune base de données à mettre en place ni à gérer : vous indiquez à Athena où se trouvent les données dans S3, définissez un schéma, puis exécutez vos requêtes. Le service est donc idéal pour analyser les volumineux fichiers de journaux produits par AWS.

Athena est sans serveur et vous payez chaque requête en fonction de la quantité de données analysées. Vous ne payez rien lorsque vous n'exécutez aucune requête. Ce modèle tarifaire encourage les requêtes efficaces et les données bien organisées, car analyser moins de données est à la fois plus rapide et moins coûteux, un principe récurrent dans l'utilisation d'Athena.

La sécurité génère des montagnes de journaux : CloudTrail, journaux de flux VPC, journaux d'accès ALB, et bien d'autres, tous stockés dans S3. Athena vous permet de les examiner avec le SQL que vous connaissez, au lieu de créer un pipeline de données. Lors d'un incident, vous pouvez rechercher en quelques minutes plusieurs mois d'historique parmi des milliards d'enregistrements, exactement comme l'exigent les investigations.

Athena utilise un schéma à la lecture : vous définissez un schéma de table qui décrit comment interpréter les fichiers dans S3, puis ce schéma est appliqué lors de la requête et non lors du stockage des données. Les fichiers de journaux bruts ne sont jamais modifiés. Vous pouvez donc à tout moment superposer de nouvelles tables et vues aux mêmes journaux restés intacts.

Athena lit les définitions de tables dans le catalogue de données AWS Glue, un magasin central de métadonnées. Une table associe un emplacement S3 et un format à des colonnes et à des types. Une fois cataloguée, elle est disponible pour Athena et les autres services d'analyse, ce qui vous fournit une définition partagée de vos données de journaux.

Athena peut interroger de nombreux formats : JSON, CSV, Apache Parquet, ORC et Avro. Les journaux CloudTrail sont au format JSON et les journaux de flux sont des textes délimités par des espaces. Les formats en colonnes comme Parquet sont bien plus efficaces, car Athena ne lit que les colonnes nécessaires à la requête, ce qui réduit la quantité de données analysées et le coût.

Vous exécutez les requêtes dans la console Athena, via l'API ou avec la CLI, et les résultats sont écrits à un emplacement de résultats de requête dans S3. Une requête d'investigation simple peut compter les connexions échouées à la console par utilisateur. Athena renvoie les résultats en quelques secondes ou quelques minutes selon le volume de données, sans infrastructure à gérer.

L'accès à Athena est régi par des politiques IAM, et les requêtes ne peuvent lire que les données S3 auxquelles l'appelant est autorisé à accéder. Vous devez également chiffrer l'emplacement de résultats des requêtes, car ceux-ci peuvent contenir des informations sensibles issues des journaux. Les groupes de travail permettent de séparer les équipes, d'imposer le chiffrement des résultats et de définir des limites de données analysées par requête.

Au-delà de S3, les requêtes fédérées Athena peuvent accéder à d'autres sources de données, comme DynamoDB ou RDS, par l'intermédiaire de connecteurs. Même si l'analyse des journaux de sécurité cible généralement S3, la fédération permet de joindre les données de journaux à des données de référence, comme un inventaire des ressources, afin d'enrichir une investigation sans tout déplacer au préalable dans S3.

Les groupes de travail isolent les requêtes, les résultats et les paramètres de différentes équipes. Un groupe de travail peut imposer un emplacement de résultats chiffré, définir un compartiment distinct pour les résultats et plafonner le nombre d'octets qu'une requête peut analyser. Cela maîtrise les coûts tout en séparant les résultats sensibles d'une investigation d'équipe de ceux d'une autre.

Utilisez Athena lorsque vous devez analyser ponctuellement de gros volumes de journaux historiques, en particulier CloudTrail et les journaux de flux stockés dans S3. Pour les alertes en temps réel, vous vous appuyez toujours sur CloudWatch et GuardDuty ; Athena est l'outil d'analyse approfondie a posteriori et de création de rapports sur de vastes ensembles de données.

Testez vos connaissances fondamentales sur Athena.

Amazon Athena exécute du SQL directement sur les données S3, sans serveur et avec une facturation basée sur les données analysées. Il utilise un schéma à la lecture, dont les définitions de tables sont stockées dans le catalogue de données Glue, et prend en charge des formats comme JSON ainsi que le format efficace Parquet. Sécurisez-le avec IAM, des emplacements de résultats chiffrés et des groupes de travail. C'est l'outil de référence pour l'analyse approfondie a posteriori de CloudTrail et des journaux de flux.