Amazon Athena: SQL sem servidor no S3

O Amazon Athena é um serviço de consulta interativo e sem servidor que permite executar SQL padrão diretamente sobre dados armazenados no Amazon S3. Não é necessário provisionar servidores nem gerenciar clusters, e você paga apenas pelos dados examinados em cada consulta (aproximadamente US$ 5 por TB examinado). O Athena usa o Presto internamente e integra-se nativamente ao Glue Data Catalogue para obter os metadados das tabelas.

Antes de executar consultas, configure um Athena Workgroup e especifique um caminho do S3 para a saída dos resultados das consultas. Os grupos de trabalho permitem separar o histórico de consultas e o acompanhamento de custos entre equipes, impor criptografia aos resultados e definir limites de exame de dados por consulta para evitar custos excessivos. Cada resultado de consulta é gravado como CSV no bucket de saída do S3 configurado.

Indique ao Athena um banco de dados do Glue Data Catalogue e execute SQL ANSI. O Athena oferece suporte a SELECT, JOIN, GROUP BY, funções de janela e CTEs. Você também pode usar CREATE TABLE AS SELECT (CTAS) para salvar os resultados de uma consulta como uma nova tabela no formato Parquet, materializando efetivamente resultados intermediários para acelerar consultas posteriores.

O Athena cobra por TB de dados examinados. A redução de custos mais significativa é a eliminação de partições: sempre inclua as colunas de partição na cláusula WHERE. Se os dados estiverem particionados por year/month/day, filtrar por essas colunas impede que o Athena examine outras partições. Sem um filtro de partição em uma tabela na escala de petabytes, uma consulta simples pode custar centenas de dólares.

Armazenar dados em Apache Parquet ou ORC, em vez de CSV ou JSON, reduz drasticamente a quantidade de dados examinados pelo Athena em cada consulta. Uma consulta colunar que acessa 3 de 50 colunas examina apenas os dados dessas 3 colunas no disco. Combinados à compactação integrada (Snappy, Zstd), os arquivos Parquet costumam ser de 5 a 10 vezes menores que arquivos CSV equivalentes, ampliando a economia de custos.

O Athena Federated Query amplia o Athena para além do S3, permitindo consultar dados no RDS, DynamoDB, Redshift, Elasticsearch e fontes personalizadas usando conectores de fontes de dados baseados em Lambda. Você implanta uma função Lambda de conector do Serverless Application Repository, registra-a como uma fonte de dados do Athena e, então, consulta tabelas do S3 e bancos de dados ativos em um único JOIN SQL — sem precisar mover os dados primeiro.

O Amazon QuickSight conecta-se diretamente ao Athena como uma fonte de dados, permitindo que analistas de negócios criem painéis interativos a partir de dados do S3 sem nenhum banco de dados intermediário. O QuickSight usa o SPICE (mecanismo de cálculo super-rápido, paralelo e em memória) para armazenar em cache os resultados das consultas do Athena e renderizar painéis rapidamente. Essa pilha de BI sem servidor (S3 + Glue + Athena + QuickSight) é um padrão comum de prova para análises econômicas.

Além do particionamento e do formato colunar, ajuste ainda mais as consultas do Athena: divida arquivos grandes (procure usar de 128 MB a 1 GB por arquivo para permitir o processamento paralelo), use particionamento em buckets para colunas frequentemente usadas em junções, evite SELECT * e use funções agregadas aproximadas, como approx_distinct() e approx_percentile(), quando não forem necessários valores exatos. Essas técnicas reduzem tanto os custos quanto a latência.

O Athena integra-se ao IAM para o controle de acesso: os usuários precisam de permissões para executar consultas do Athena (athena:StartQueryExecution), acessar o bucket de saída do S3 e ler os dados subjacentes do S3. Para obter acesso detalhado por coluna e por linha, combine o Athena com o Lake Formation. Você também pode restringir um grupo de trabalho a bancos de dados específicos usando chaves de condição do IAM no ARN do grupo de trabalho.

Os resultados das consultas do Athena são armazenados como arquivos CSV no S3 e mantidos em cache por 7 dias; assim, executar novamente a mesma consulta nesse período não examina os dados outra vez. Para necessidades recorrentes de relatórios, use Athena Scheduled Queries para executar uma consulta segundo uma agenda cron e salvar os resultados em um novo local do S3 ou diretamente em uma tabela. Como alternativa, acione uma consulta do Athena a partir de uma máquina de estados do Step Functions ou de uma regra do EventBridge.

Para a prova SAA-C03, saiba quando recomendar Athena em vez de Redshift. Escolha o Athena para consultas ad hoc e pouco frequentes no S3, sem infraestrutura para gerenciar. Escolha o Redshift quando precisar de tempos de resposta inferiores a um segundo em junções complexas, tiver uma equipe dedicada de análise executando centenas de consultas simultâneas ou quiser usar o Redshift Spectrum para ampliar um armazém de dados com dados do S3. O principal indicador é a frequência e a complexidade das consultas.

Teste sua compreensão dos conceitos de AWS Solutions Architect (SAA-C03) desta lição.

Nesta lição, você aprendeu que: o Athena cobra por TB examinado, portanto a eliminação de partições e o formato Parquet são controles essenciais de custos, o Athena Federated Query estende o SQL a fontes de dados que não são do S3 por meio de conectores Lambda e o Athena é mais indicado para consultas ad hoc, enquanto o Redshift é adequado para análises com alta simultaneidade. Em seguida, exploraremos o Kinesis para transmissão e análise de dados em tempo real.