Optimización de costes de S3 y transferencia de datos

Los costes de almacenamiento de Amazon S3 varían considerablemente según la clase de almacenamiento y el patrón de acceso. S3 Standard cobra aproximadamente 0,023 USD por GB al mes; a escala de petabytes, esto se vuelve significativo. La buena noticia es que S3 ofrece siete clases de almacenamiento optimizadas para distintas frecuencias de acceso, con precios que van desde 0,023 USD/GB (Standard) hasta 0,00099 USD/GB (Glacier Deep Archive). La clave para optimizar los costes de S3 es asignar los datos a la clase de almacenamiento adecuada y automatizar las transiciones mediante políticas de ciclo de vida.

S3 Intelligent-Tiering mueve automáticamente los objetos entre niveles de acceso según los patrones de acceso reales, sin tarifas de recuperación ni duración mínima para el nivel de acceso frecuente. Supervisa el acceso a los objetos individualmente: los objetos a los que no se accede durante 30 días pasan al nivel de acceso infrecuente (40 % más barato) y, después de 90 días, al nivel de archivo de acceso instantáneo (68 % más barato). Se aplica una pequeña tarifa mensual de supervisión (0,0025 USD por cada 1.000 objetos). Utilice Intelligent-Tiering cuando no pueda predecir los patrones de acceso o cuando tenga datos de acceso frecuente y poco frecuente mezclados en el mismo bucket.

Las reglas de ciclo de vida de S3 automatizan las transiciones y las caducidades de los objetos según su antigüedad. Puede definir reglas por prefijo o etiqueta y especificar las transiciones en determinados umbrales de días. Un ciclo de vida de archivado habitual sería: Standard → Standard-IA (30 días) → Glacier Instant Retrieval (90 días) → Deep Archive (365 días) → Delete (2555 días). Esto puede reducir con el tiempo los costes de almacenamiento por GB de 0,023 USD a 0,00099 USD, una reducción del 95 % para los datos archivados. Las transiciones del ciclo de vida requieren un tamaño mínimo de objeto de 128 KB para IA y Glacier; no resulta rentable transferir objetos más pequeños.

S3 Select permite recuperar únicamente los datos que necesita de un objeto de S3 mediante expresiones SQL, en lugar de descargar el objeto completo. En el caso de un archivo CSV de 10 GB del que solo necesita 100 filas, S3 Select puede recuperar únicamente esas filas, lo que reduce considerablemente los costes de transferencia de datos y el tiempo de procesamiento de la aplicación. Glacier Select hace lo mismo con los objetos de Glacier. S3 Select admite los formatos CSV, JSON y Parquet. Esto resulta especialmente útil en canalizaciones de análisis de datos en las que muchas consultas solo acceden a un subconjunto de cada archivo de datos.

Para cargar objetos grandes, S3 Multipart Upload divide los objetos en partes (un mínimo de 5 MB por parte) que se cargan en paralelo, lo que mejora el rendimiento y permite reanudar las cargas. Las partes que fallen se pueden volver a intentar sin reiniciar toda la carga. Elimine las cargas multiparte incompletas mediante reglas de ciclo de vida para evitar que se le cobre por las partes incompletas. S3 Transfer Acceleration dirige las cargas a través de las ubicaciones edge de AWS CloudFront para acelerarlas desde ubicaciones lejanas; resulta útil para usuarios que cargan archivos grandes desde distintos lugares del mundo, pero añade costes (entre 0,04 y 0,08 USD/GB adicionales). Utilícelo únicamente cuando la aceleración proporcione una mejora cuantificable.

Los costes de transferencia de datos son uno de los conceptos más sorprendentes de las facturas de AWS. Reglas clave: la transferencia de datos entrante (hacia AWS) es gratuita. La transferencia de datos saliente a Internet cuesta aproximadamente 0,09 USD/GB (los primeros 10 TB al mes). La transferencia de datos entre regiones cuesta aproximadamente 0,02 USD/GB. La transferencia de datos entre AZ dentro de la misma región cuesta 0,01 USD/GB en cada dirección. La transferencia dentro de la misma AZ es gratuita. Diseñe las arquitecturas para minimizar la transferencia de datos entre regiones y hacia Internet; por eso las implementaciones regionales y CloudFront son fundamentales para una distribución de contenido rentable.

Distribuir contenido mediante Amazon CloudFront reduce considerablemente los costes de transferencia de datos de dos formas. En primer lugar, CloudFront cobra tarifas de salida inferiores a las del acceso directo a Internet desde EC2 o S3 (aproximadamente 0,0085 USD/GB frente a 0,09 USD/GB). En segundo lugar, CloudFront almacena en caché el contenido en ubicaciones edge, lo que reduce el número de veces que los datos se sirven desde el origen; potencialmente, puede servir el mismo contenido millones de veces desde la caché con una sola recuperación del origen. La transferencia de datos de S3 a CloudFront también es gratuita. Esto convierte a CloudFront en una herramienta de optimización de costes, no solo de rendimiento.

Los cargos por procesamiento de datos de NAT Gateway (0,045 USD/GB) pueden convertirse en un coste significativo cuando las instancias de EC2 en subredes privadas acceden con frecuencia a S3 o DynamoDB. En su lugar, utilice VPC Gateway Endpoints para S3 y DynamoDB; dirigen el tráfico a través de la red troncal de AWS con un coste cero y no requieren un NAT Gateway para estos servicios. Además, los VPC Interface Endpoints (PrivateLink) para otros servicios de AWS eliminan las tarifas de procesamiento de NAT Gateway correspondientes al tráfico de esos servicios, aunque los propios Interface Endpoints tienen un pequeño coste por hora.

S3 cobra tanto por cada solicitud de API como por cada GB almacenado. Las solicitudes PUT, COPY, POST, LIST cuestan 0,005 USD por cada 1.000; las solicitudes GET, SELECT cuestan 0,0004 USD por cada 1.000. En las aplicaciones que realizan millones de solicitudes, estos costes se acumulan. Optimice sus costes de las siguientes formas: agrupe objetos pequeños en objetos más grandes (menos solicitudes), utilice CloudFront para servir respuestas almacenadas en caché (reduce las solicitudes GET al origen), evite las operaciones de listado siempre que sea posible (LIST es costosa) y utilice S3 Batch Operations para operaciones masivas en lugar de millones de llamadas individuales a la API.

Para transferencias de datos a gran escala entre entornos locales y AWS, o entre servicios de AWS, AWS DataSync resulta más rentable que escribir código de transferencia personalizado. DataSync utiliza un protocolo diseñado específicamente para este fin, que alcanza hasta 10 veces el rendimiento de las herramientas de código abierto e incluye validación de datos, programación y supervisión integradas. Los datos transferidos mediante DataSync a S3, EFS o FSx se cobran según las tarifas estándar de transferencia de datos de AWS; sin embargo, la eficiencia de DataSync permite completar las transferencias más rápidamente, reduciendo el tiempo de cómputo de EC2 (y su coste) necesario para migraciones grandes.

Amazon S3 Storage Lens proporciona visibilidad en toda la organización sobre el uso del almacenamiento de S3 y las métricas de actividad en distintas cuentas y regiones. Muestra oportunidades de optimización de costes, como la identificación de buckets sin reglas de ciclo de vida, buckets con cargas multiparte incompletas o la distribución de las clases de almacenamiento. El panel predeterminado de S3 Storage Lens es gratuito; el panel de métricas avanzadas (0,20 USD por cada millón de objetos) añade un análisis detallado por prefijo y métricas de antigüedad de los datos. Utilice Storage Lens como punto de partida para cualquier ejercicio de optimización de costes de S3, con el fin de identificar los buckets de mayor impacto.

Compruebe su comprensión de los conceptos de AWS Solutions Architect (SAA-C03) tratados en esta lección.

En esta lección ha aprendido lo siguiente: S3 Intelligent-Tiering y las reglas de ciclo de vida reducen los costes de almacenamiento al mover automáticamente los datos a clases de almacenamiento más económicas, CloudFront reduce considerablemente los costes de transferencia de datos en comparación con servirlos directamente desde S3 o EC2 y VPC Gateway Endpoints eliminan los cargos de NAT Gateway para el tráfico de S3 y DynamoDB. S3 Storage Lens proporciona visibilidad sobre las oportunidades de optimización. A continuación, exploraremos KMS, ACM y los patrones de cifrado.