Particionando Registros para Ganhar Velocidade e Reduzir Custos

Como o Athena cobra pelos dados analisados, consultar um ano de registros para encontrar eventos de um único dia desperdiça dinheiro e tempo. O particionamento é a técnica que permite ao Athena ler apenas a parte relevante dos dados, tornando as consultas muito mais rápidas e baratas. É a otimização mais importante do Athena.

Uma partição divide os dados de uma tabela pelos valores de uma ou mais colunas, normalmente componentes de data, mapeados para prefixos do S3. Os registros do CloudTrail já são organizados por região/ano/mês/dia; portanto, particionar por esses elementos corresponde à estrutura física e permite que o Athena ignore pastas fora do escopo da consulta.

Quando uma consulta filtra por uma coluna de partição, o Athena realiza a eliminação de partições: lê apenas os prefixos correspondentes e ignora o restante. Uma consulta de um dia com partições adequadas analisa uma fração mínima do bucket. Sem essa eliminação, a mesma consulta analisaria tudo, inclusive dados de que certamente não precisa.

Uma forma de registrar partições é ALTER TABLE ADD PARTITION, mapeando um valor de partição para sua localização no S3. Isso funciona, mas é trabalhoso para dados de registros diários, pois seria necessário adicionar uma partição todos os dias. É adequado para carregamentos históricos pontuais, mas não é escalável para registros contínuos.

A projeção de partições é a abordagem moderna e recomendada: você informa ao Athena o padrão das partições, como datas em um intervalo, e ele calcula os prefixos no momento da consulta sem armazenar cada partição no catálogo. Para dados do CloudTrail e dos registros de fluxo que crescem continuamente, isso evita a manutenção constante e mantém a eliminação automática.

Um rastreador do Glue também pode descobrir novas partições periodicamente e adicioná-las ao catálogo. Isso automatiza o gerenciamento de partições para dados em evolução, embora, em estruturas previsíveis baseadas em datas, a projeção de partições geralmente seja mais simples e não tenha custo de rastreador.

O particionamento limita quais arquivos são lidos; formatos colunares, como Parquet, limitam quais colunas são lidas dentro desses arquivos. Combinados, converter os registros para Parquet e particioná-los por data pode reduzir os dados analisados em várias ordens de grandeza. Muitas equipes executam um processo de conversão para armazenar cópias de registros de alto volume otimizadas para consultas.

Compactar dados de registros com formatos como GZIP ou Snappy reduz ainda mais os bytes analisados e o custo de armazenamento. O Athena lê arquivos compactados de forma transparente. Junto com o particionamento e o armazenamento colunar, a compactação completa o trio de técnicas que torna acessível a análise de registros em grande escala.

Para registros de segurança, particione principalmente por data, pois as investigações são limitadas por tempo, e considere particionar por conta ou região nas trilhas da organização para poder direcionar rapidamente a consulta a uma conta. As chaves de partição corretas refletem a forma como suas investigações realmente filtram os dados, maximizando a eliminação nas consultas reais.

O Athena informa os dados analisados por consulta. Acompanhar essa métrica mostra se o particionamento está funcionando: uma consulta bem particionada e limitada por tempo deve analisar megabytes, não terabytes. Se uma consulta analisar muito mais do que o esperado, provavelmente seu filtro não está alinhado às colunas de partição.

A combinação de otimizações consiste em usar partições para ignorar dados irrelevantes, um formato colunar para ler apenas as colunas necessárias e compactação para reduzir os bytes. Aplicadas ao CloudTrail e aos registros de fluxo, elas transformam análises lentas e caras em investigações rápidas e econômicas, exatamente o que a análise de segurança em grande escala exige.

Teste seus conhecimentos sobre particionamento.

O particionamento divide os dados da tabela por colunas, geralmente por data, para que o Athena faça a eliminação de partições e analise apenas os prefixos relevantes, reduzindo custo e tempo. Prefira a projeção de partições ao ADD PARTITION manual ou aos rastreadores para registros em crescimento. Combine partições com Parquet colunar e compactação para obter grandes economias, particione registros de segurança por data e conta e acompanhe a métrica de dados analisados.