Optimisation des coûts S3 et du transfert de données

Les coûts de stockage Amazon S3 varient considérablement selon la classe de stockage et le mode d’accès. S3 Standard facture environ 0,023 $ par Go et par mois — à l’échelle du pétaoctet, cela devient significatif. La bonne nouvelle est que S3 propose sept classes de stockage optimisées pour différentes fréquences d’accès, avec des prix allant de 0,023 $/Go (Standard) à 0,00099 $/Go (Glacier Deep Archive). La clé de l’optimisation des coûts S3 consiste à associer vos données à la classe de stockage appropriée et à automatiser les transitions à l’aide de règles de cycle de vie.

S3 Intelligent-Tiering déplace automatiquement les objets entre les niveaux d’accès en fonction des habitudes d’accès réelles — sans frais de récupération et sans durée minimale pour le niveau d’accès fréquent. Il surveille l’accès au niveau de chaque objet : les objets auxquels vous n’avez pas accédé depuis 30 jours passent au niveau d’accès peu fréquent (40 % moins cher), puis, après 90 jours, au niveau d’archivage à récupération instantanée (68 % moins cher). De petits frais mensuels de surveillance sont appliqués (0,0025 $ pour 1 000 objets). Utilisez Intelligent-Tiering lorsque vous ne pouvez pas prévoir les habitudes d’accès ou lorsque votre compartiment contient à la fois des données fréquemment et rarement consultées.

Les règles de cycle de vie S3 automatisent les transitions et les expirations des objets en fonction de leur ancienneté. Vous définissez les règles par préfixe ou par balise, puis indiquez les transitions à des seuils de jours précis. Exemple courant de cycle de vie pour l’archivage : Standard → Standard-IA (30 jours) → Glacier Instant Retrieval (90 jours) → Deep Archive (365 jours) → Delete (2 555 jours). Cela peut réduire progressivement les coûts de stockage par Go de 0,023 $ à 0,00099 $ — soit une réduction de 95 % pour les données archivées. Les transitions de cycle de vie exigent une taille minimale d’objet de 128 Ko pour IA et Glacier (la transition des objets plus petits n’est pas rentable).

S3 Select vous permet de récupérer uniquement les données dont vous avez besoin dans un objet S3 à l’aide d’expressions SQL, au lieu de télécharger l’objet entier. Pour un fichier CSV de 10 Go dont vous n’avez besoin que de 100 lignes, S3 Select peut récupérer uniquement ces lignes — ce qui réduit considérablement les coûts de transfert de données et le temps de traitement par l’application. Glacier Select fait de même pour les objets stockés dans Glacier. S3 Select prend en charge les formats CSV, JSON et Parquet. Cette fonctionnalité est particulièrement utile dans les pipelines d’analyse de données, où de nombreuses requêtes n’accèdent qu’à un sous-ensemble de chaque fichier de données.

Pour téléverser de gros objets, S3 Multipart Upload les divise en parties (5 Mo minimum par partie) qui sont téléversées en parallèle, ce qui améliore le débit et permet de reprendre les téléversements. Les parties en échec peuvent être réessayées sans recommencer l’intégralité du téléversement. Supprimez les téléversements multipart incomplets à l’aide de règles de cycle de vie afin d’éviter de payer pour les parties incomplètes. S3 Transfer Acceleration achemine les téléversements via les emplacements périphériques AWS CloudFront pour accélérer les téléversements depuis des sites éloignés — ce qui est utile pour les utilisateurs qui téléversent des fichiers volumineux depuis différentes régions du monde, mais entraîne un coût supplémentaire (0,04 à 0,08 $/Go). Utilisez cette fonctionnalité uniquement lorsqu’elle apporte une amélioration mesurable.

Les coûts de transfert de données comptent parmi les factures AWS les plus surprenantes. Règles principales : le transfert de données entrant (vers AWS) est gratuit. Le transfert de données sortant vers Internet coûte environ 0,09 $/Go (pour les 10 premiers To/mois). Le transfert de données entre régions coûte environ 0,02 $/Go. Le transfert de données entre AZ au sein d’une même région coûte 0,01 $/Go dans chaque sens. Au sein d’une même AZ, le transfert est gratuit. Concevez vos architectures de manière à réduire au minimum les transferts de données entre régions et vers Internet — c’est pourquoi les déploiements régionaux et CloudFront sont essentiels pour distribuer du contenu à moindre coût.

La distribution de contenu via Amazon CloudFront réduit considérablement les coûts de transfert de données de deux façons. Premièrement, CloudFront applique des tarifs de sortie inférieurs à ceux d’EC2 ou de l’accès direct à Internet depuis S3 (environ 0,0085 $/Go contre 0,09 $/Go). Deuxièmement, CloudFront met le contenu en cache dans des emplacements périphériques, ce qui réduit le nombre de fois où les données sont fournies depuis votre origine — un même contenu peut ainsi être fourni des millions de fois depuis le cache après une seule récupération auprès de l’origine. Le transfert de données de S3 vers CloudFront est également gratuit. CloudFront est donc un outil d’optimisation des coûts, et pas seulement un outil d’amélioration des performances.

Les frais de traitement des données de NAT Gateway (0,045 $/Go) peuvent devenir importants lorsque des instances EC2 situées dans des sous-réseaux privés accèdent fréquemment à S3 ou DynamoDB. Utilisez plutôt des VPC Gateway Endpoints pour S3 et DynamoDB : ils acheminent le trafic via le réseau fédérateur AWS à coût nul et ne nécessitent pas de NAT Gateway pour ces services. De plus, les VPC Interface Endpoints (PrivateLink) destinés aux autres services AWS évitent les frais de traitement de NAT Gateway pour le trafic de ces services, même si les Interface Endpoints eux-mêmes entraînent un faible coût horaire.

S3 facture chaque requête d’API ainsi que chaque Go stocké. Les requêtes PUT, COPY, POST, LIST coûtent 0,005 $ pour 1 000 requêtes ; les requêtes GET, SELECT coûtent 0,0004 $ pour 1 000 requêtes. Pour les applications qui effectuent des millions de requêtes, ces coûts s’accumulent. Optimisez vos coûts en : regroupant les petits objets dans des objets plus volumineux (moins de requêtes), utilisant CloudFront pour fournir des réponses mises en cache (ce qui réduit les requêtes GET vers l’origine), évitant les opérations de listage lorsque c’est possible (LIST est coûteux), et utilisant S3 Batch Operations pour les opérations en masse au lieu d’effectuer des millions d’appels d’API individuels.

Pour les transferts de données à grande échelle entre votre infrastructure sur site et AWS, ou entre des services AWS, AWS DataSync est plus économique que l’écriture d’un code de transfert personnalisé. DataSync utilise un protocole spécialement conçu à cet effet, qui offre un débit jusqu’à 10 fois supérieur à celui des outils open source, et intègre la validation des données, la planification et la surveillance. Les données transférées via DataSync vers S3, EFS ou FSx sont facturées selon les tarifs standard de transfert de données AWS — mais l’efficacité de DataSync permet de terminer les transferts plus rapidement, ce qui réduit le temps de calcul EC2 (et le coût) nécessaire aux migrations volumineuses.

Amazon S3 Storage Lens offre une visibilité à l’échelle de l’organisation sur l’utilisation du stockage S3 et les métriques d’activité dans les comptes et les régions. Il met en évidence des possibilités d’optimisation des coûts, comme l’identification des compartiments sans règles de cycle de vie, des compartiments contenant des téléversements multipart incomplets ou de la répartition entre les classes de stockage. Le tableau de bord par défaut de S3 Storage Lens est gratuit ; le tableau de bord des métriques avancées (0,20 $/million d’objets) ajoute une analyse détaillée par préfixe et des métriques sur l’ancienneté des données. Utilisez Storage Lens comme point de départ de toute démarche d’optimisation des coûts S3 afin d’identifier les compartiments ayant le plus fort impact.

Vérifiez votre compréhension des concepts AWS Solutions Architect (SAA-C03) présentés dans cette leçon.

Dans cette leçon, vous avez appris que S3 Intelligent-Tiering et les règles de cycle de vie réduisent les coûts de stockage en déplaçant automatiquement les données vers des classes de stockage moins coûteuses, que CloudFront réduit considérablement les coûts de transfert de données par rapport à une distribution directe depuis S3 ou EC2, et que les VPC Gateway Endpoints éliminent les frais de NAT Gateway pour le trafic S3 et DynamoDB. S3 Storage Lens offre une visibilité sur les possibilités d’optimisation. Nous allons maintenant étudier KMS, ACM et les modèles de chiffrement.