Consultando Registros do S3 com o Athena

O Amazon Athena é um serviço de consultas interativo e sem servidor que executa SQL padrão diretamente sobre dados armazenados no Amazon S3. Não há banco de dados para provisionar ou gerenciar: você aponta o Athena para os dados no S3, define um esquema e faz a consulta. Isso o torna ideal para analisar os enormes arquivos de registro produzidos pela AWS.

O Athena é sem servidor, e você paga por consulta com base na quantidade de dados examinados. Não há custo de ociosidade quando você não está fazendo consultas. Esse modelo de preços favorece consultas eficientes e dados bem organizados, pois examinar menos dados é mais rápido e mais barato — um tema recorrente no uso do Athena.

A segurança gera enormes volumes de registros: CloudTrail, registros de fluxo da VPC, registros de acesso do ALB e muito mais, tudo armazenado no S3. O Athena permite investigá-los com SQL conhecido, em vez de criar um pipeline de dados. Durante um incidente, você pode pesquisar meses de histórico em bilhões de registros em poucos minutos, exatamente o que as investigações exigem.

O Athena usa esquema na leitura: você define um esquema de tabela que descreve como interpretar os arquivos no S3, e o esquema é aplicado quando você faz a consulta, não quando os dados são armazenados. Os arquivos de registro brutos nunca são modificados. Isso significa que você pode criar novas tabelas e visualizações sobre os mesmos registros intactos a qualquer momento.

O Athena lê as definições de tabelas do Catálogo de Dados do AWS Glue, um repositório central de metadados. Uma tabela associa uma localização no S3 e um formato a colunas e tipos. Depois de catalogada, a tabela fica disponível para o Athena e para outros serviços de análise, oferecendo uma definição compartilhada dos seus dados de registro.

O Athena consulta muitos formatos: JSON, CSV, Apache Parquet, ORC e Avro. Os registros do CloudTrail estão em JSON, e os registros de fluxo são textos delimitados por espaços. Formatos colunares como Parquet são muito mais eficientes porque o Athena lê apenas as colunas necessárias para uma consulta, examina menos dados e reduz o custo.

Você executa consultas no console do Athena, pela API ou pela CLI, e os resultados são gravados em uma localização de resultados de consulta no S3. Uma consulta investigativa simples poderia contar os logins malsucedidos no console por usuário. O Athena retorna os resultados em segundos ou minutos, dependendo do volume de dados, sem infraestrutura para gerenciar.

O acesso ao Athena é controlado por políticas do IAM, e as consultas só podem ler dados do S3 aos quais a pessoa que faz a chamada tem permissão de acesso. Você também deve criptografar a localização de resultados das consultas, pois os resultados podem conter conteúdo sensível dos registros. Os grupos de trabalho permitem separar equipes, impor a criptografia dos resultados e definir limites de dados examinados por consulta.

Além do S3, as consultas federadas do Athena podem acessar outras fontes de dados, como DynamoDB ou RDS, por meio de conectores. Embora a maior parte das análises de registros de segurança tenha como alvo o S3, a federação permite unir dados de registros a dados de referência, como um inventário de ativos, enriquecendo uma investigação sem precisar mover tudo para o S3 primeiro.

Os grupos de trabalho isolam consultas, resultados e configurações de equipes diferentes. Um grupo de trabalho pode impor uma localização de resultados criptografada, definir um bucket separado para os resultados das consultas e limitar a quantidade de bytes que uma única consulta pode examinar. Isso controla os custos e mantém separados os resultados de investigações sensíveis de uma equipe e os de outra.

Use o Athena quando precisar analisar grandes volumes de registros históricos de forma pontual, especialmente CloudTrail e registros de fluxo no S3. Para alertas em tempo real, você ainda depende do CloudWatch e do GuardDuty; o Athena é a ferramenta para análises aprofundadas após os eventos e para relatórios sobre conjuntos de dados enormes.

Teste seus conhecimentos básicos sobre o Athena.

O Amazon Athena executa SQL diretamente sobre dados do S3, sem servidor e com preço baseado nos dados examinados. Ele usa esquema na leitura, com definições de tabelas no Catálogo de Dados do Glue, e é compatível com formatos como JSON e o eficiente Parquet. Proteja-o com IAM, localizações de resultados criptografadas e grupos de trabalho. Ele é a ferramenta principal para análises aprofundadas, posteriores aos eventos, de CloudTrail e registros de fluxo.