Otimização de custos do S3 e da transferência de dados

Os custos de armazenamento do Amazon S3 variam significativamente de acordo com a classe de armazenamento e o padrão de acesso. O S3 Standard cobra aproximadamente US$ 0,023 por GB por mês — em escala de petabytes, isso se torna significativo. A boa notícia é que o S3 oferece sete classes de armazenamento otimizadas para diferentes frequências de acesso, com preços que variam de US$ 0,023/GB (Standard) a US$ 0,00099/GB (Glacier Deep Archive). A chave para otimizar os custos do S3 é associar seus dados à classe de armazenamento adequada e automatizar as transições com políticas de ciclo de vida.

S3 Intelligent-Tiering move automaticamente os objetos entre níveis de acesso com base nos padrões reais de acesso — sem taxas de recuperação e sem duração mínima para o nível frequente. Ele monitora o acesso aos objetos individualmente: objetos que não forem acessados por 30 dias passam para o nível de acesso infrequente (40% mais barato) e, após 90 dias, para o nível de arquivamento instantâneo (68% mais barato). Há uma pequena taxa mensal de monitoramento (US$ 0,0025 por 1.000 objetos). Use Intelligent-Tiering quando não for possível prever os padrões de acesso ou quando houver dados de acesso frequente e infrequente no mesmo bucket.

As regras de ciclo de vida do S3 automatizam as transições e as expirações de objetos com base na idade. Você define regras por prefixo ou tag e especifica as transições em limites de dias específicos. Um ciclo de vida de arquivamento típico é: Standard → Standard-IA (30 dias) → Glacier Instant Retrieval (90 dias) → Deep Archive (365 dias) → Delete (2555 dias). Isso pode reduzir os custos de armazenamento por GB de US$ 0,023 para US$ 0,00099 ao longo do tempo — uma redução de 95% para dados arquivados. As transições do ciclo de vida exigem um tamanho mínimo de objeto de 128 KB para IA e Glacier (objetos menores não são economicamente viáveis para transição).

S3 Select permite recuperar apenas os dados necessários de um objeto do S3 usando expressões SQL, em vez de baixar o objeto inteiro. Em um arquivo CSV de 10 GB do qual você precisa apenas de 100 linhas, o S3 Select pode recuperar somente essas linhas, reduzindo drasticamente os custos de transferência de dados e o tempo de processamento da aplicação. Glacier Select faz o mesmo para objetos no Glacier. O S3 Select oferece suporte aos formatos CSV, JSON e Parquet. Isso é especialmente valioso em pipelines de análise de dados nos quais muitas consultas acessam apenas um subconjunto de cada arquivo de dados.

Para uploads de objetos grandes, o S3 Multipart Upload divide os objetos em partes (com no mínimo 5 MB por parte) que são enviadas em paralelo, melhorando a taxa de transferência e permitindo uploads retomáveis. É possível tentar novamente as partes com falha sem reiniciar o upload inteiro. Limpe os uploads multipart incompletos com regras de ciclo de vida para evitar cobranças pelas partes incompletas. O S3 Transfer Acceleration encaminha os uploads por meio das localizações de borda do AWS CloudFront para acelerar uploads de locais distantes — útil para usuários que enviam arquivos grandes globalmente, mas gera um custo adicional (US$ 0,04–US$ 0,08/GB). Use-o somente quando a aceleração proporcionar uma melhoria mensurável.

Os custos de transferência de dados estão entre as cobranças mais surpreendentes da AWS. Regras principais: a transferência de dados de entrada (para a AWS) é gratuita. A transferência de dados de saída para a Internet custa aproximadamente US$ 0,09/GB (nos primeiros 10 TB/mês). A transferência de dados entre regiões custa aproximadamente US$ 0,02/GB. A transferência de dados entre AZs na mesma região custa US$ 0,01/GB em cada direção. Dentro da mesma AZ, é gratuita. Projete arquiteturas para minimizar a transferência de dados entre regiões e destinada à Internet — por isso as implantações regionais e o CloudFront são essenciais para a entrega de conteúdo com eficiência de custos.

A entrega de conteúdo por meio do Amazon CloudFront reduz drasticamente os custos de transferência de dados de duas formas. Primeiro, o CloudFront cobra taxas de saída menores do que o acesso direto à Internet pelo EC2 ou S3 (~US$ 0,0085/GB contra US$ 0,09/GB). Segundo, o CloudFront armazena o conteúdo em cache nas localizações de borda, reduzindo o número de vezes que os dados são entregues a partir da origem — potencialmente fornecendo o mesmo conteúdo milhões de vezes a partir do cache com apenas uma busca na origem. A transferência de dados do S3 para o CloudFront também é gratuita. Isso torna o CloudFront uma ferramenta de otimização de custos, não apenas de desempenho.

As cobranças pelo processamento de dados do NAT Gateway (US$ 0,045/GB) podem se tornar significativas quando instâncias do EC2 em sub-redes privadas acessam frequentemente o S3 ou o DynamoDB. Em vez disso, use VPC Gateway Endpoints para S3 e DynamoDB — eles encaminham o tráfego pelo backbone de rede da AWS a custo zero e não exigem um NAT Gateway para esses serviços. Além disso, VPC Interface Endpoints (PrivateLink) para outros serviços da AWS eliminam as taxas de processamento do NAT Gateway para o tráfego desses serviços, embora os próprios Interface Endpoints tenham um pequeno custo por hora.

O S3 cobra por solicitação de API, além da cobrança por GB armazenado. As solicitações PUT, COPY, POST, LIST custam US$ 0,005 por 1.000; as solicitações GET, SELECT custam US$ 0,0004 por 1.000. Em aplicações que fazem milhões de solicitações, esses custos se acumulam. Otimize: agrupando objetos pequenos em objetos maiores (menos solicitações), usando o CloudFront para fornecer respostas armazenadas em cache (reduz as solicitações GET à origem), evitando operações de listagem sempre que possível (LIST é caro) e usando S3 Batch Operations para operações em massa em vez de milhões de chamadas individuais de API.

Para transferências de dados em grande escala entre ambientes locais e a AWS, ou entre serviços da AWS, o AWS DataSync é mais econômico do que escrever código de transferência personalizado. O DataSync usa um protocolo desenvolvido especificamente para essa finalidade, que alcança até 10 vezes a taxa de transferência de ferramentas de código aberto, e inclui validação de dados, agendamento e monitoramento integrados. Os dados transferidos pelo DataSync para S3, EFS ou FSx são cobrados segundo as taxas padrão de transferência de dados da AWS — mas a eficiência do DataSync permite concluir as transferências mais rapidamente, reduzindo o tempo de computação do EC2 (e o custo) necessário para grandes migrações.

O Amazon S3 Storage Lens fornece visibilidade em toda a organização sobre o uso do armazenamento do S3 e as métricas de atividade entre contas e regiões. Ele revela oportunidades de otimização de custos, como a identificação de buckets sem regras de ciclo de vida, buckets com uploads multipart incompletos ou a distribuição entre classes de armazenamento. O painel padrão do S3 Storage Lens é gratuito; o painel de métricas avançadas (US$ 0,20/milhão de objetos) adiciona detalhamento por prefixo e métricas de idade dos dados. Use o Storage Lens como ponto de partida para qualquer iniciativa de otimização de custos do S3, identificando os buckets de maior impacto.

Teste sua compreensão dos conceitos de AWS Solutions Architect (SAA-C03) desta lição.

Nesta lição, você aprendeu: S3 Intelligent-Tiering e as regras de ciclo de vida reduzem os custos de armazenamento ao mover dados automaticamente para classes de armazenamento mais baratas, o CloudFront reduz drasticamente os custos de transferência de dados em comparação com o fornecimento direto pelo S3 ou EC2 e os VPC Gateway Endpoints eliminam as cobranças do NAT Gateway para o tráfego do S3 e do DynamoDB. O S3 Storage Lens fornece visibilidade sobre oportunidades de otimização. A seguir, exploraremos o KMS, o ACM e os padrões de criptografia.