Kostenoptimalisatie voor S3 en gegevensoverdracht

De opslagkosten van Amazon S3 verschillen aanzienlijk per opslagklasse en toegangspatroon. Voor S3 Standard betaal je ongeveer $0.023 per GB per maand — op petabyteschaal loopt dit aanzienlijk op. Het goede nieuws is dat S3 zeven opslagklassen biedt die zijn geoptimaliseerd voor verschillende toegangsfrequenties, met prijzen van $0.023/GB (Standard) tot $0.00099/GB (Glacier Deep Archive). De sleutel tot kostenoptimalisatie van S3 is je gegevens aan de juiste opslagklasse koppelen en overgangen automatiseren met levenscyclusbeleid.

S3 Intelligent-Tiering verplaatst objecten automatisch tussen toegangslagen op basis van daadwerkelijke toegangspatronen — zonder kosten voor het ophalen en zonder minimale opslagduur voor de frequente laag. De toegang wordt op objectniveau gecontroleerd: objecten die 30 dagen niet zijn geopend, worden naar de laag voor infrequente toegang verplaatst (40% goedkoper) en na 90 dagen naar de archieflaag voor directe toegang (68% goedkoper). Er geldt een kleine maandelijkse vergoeding voor controle ($0.0025 per 1.000 objecten). Gebruik Intelligent-Tiering wanneer je toegangspatronen niet kunt voorspellen of wanneer je zowel vaak als zelden gebruikte gegevens in dezelfde bucket hebt.

S3-levenscyclusregels automatiseren overgangen en verwijderingen van objecten op basis van hun leeftijd. Je definieert regels op basis van een prefix of tag en geeft vervolgens overgangen op specifieke dagdrempels op. Een typische levenscyclus voor archivering is: Standard → Standard-IA (30 dagen) → Glacier Instant Retrieval (90 dagen) → Deep Archive (365 dagen) → Delete (2555 dagen). Hiermee kunnen de opslagkosten per GB na verloop van tijd dalen van $0.023 naar $0.00099 — een verlaging van 95% voor gearchiveerde gegevens. Voor overgangen naar IA en Glacier geldt een minimale objectgrootte van 128 KB (kleinere objecten zijn niet kostenefficiënt om over te zetten).

Met S3 Select kun je alleen de gegevens ophalen die je nodig hebt uit een S3-object met behulp van SQL-expressies, in plaats van het volledige object te downloaden. Voor een CSV-bestand van 10 GB waarvan je slechts 100 rijen nodig hebt, kan S3 Select alleen die rijen ophalen — waardoor de kosten voor gegevensoverdracht en de verwerkingstijd van de toepassing aanzienlijk afnemen. Glacier Select doet hetzelfde voor objecten in Glacier. S3 Select ondersteunt de indelingen CSV, JSON en Parquet. Dit is vooral waardevol in gegevensanalysepijplijnen waarin veel query's slechts een deel van elk gegevensbestand benaderen.

Bij het uploaden van grote objecten splitst S3 Multipart Upload objecten op in delen (minimaal 5 MB per deel) die parallel worden geüpload. Dit verbetert de doorvoersnelheid en maakt hervatbare uploads mogelijk. Mislukte delen kunnen opnieuw worden geprobeerd zonder de volledige upload opnieuw te starten. Ruim onvoltooide multipart-uploads op met levenscyclusregels om te voorkomen dat je moet betalen voor onvoltooide delen. S3 Transfer Acceleration leidt uploads via AWS CloudFront-edge-locaties om uploads vanaf verre locaties te versnellen — nuttig voor gebruikers die wereldwijd grote bestanden uploaden, maar het brengt extra kosten met zich mee ($0.04-$0.08/GB). Gebruik dit alleen wanneer de versnelling meetbare verbetering oplevert.

Kosten voor gegevensoverdracht behoren tot de meest verrassende AWS-facturen. Belangrijke regels: inkomende gegevensoverdracht (naar AWS) is gratis. Uitgaande gegevensoverdracht naar internet kost ongeveer $0.09/GB (voor de eerste 10 TB per maand). Gegevensoverdracht tussen regio's kost ongeveer $0.02/GB. Gegevensoverdracht tussen AZ's binnen dezelfde regio kost $0.01/GB per richting. Binnen dezelfde AZ is gegevensoverdracht gratis. Ontwerp architecturen zo dat je gegevensoverdracht tussen regio's en naar internet tot een minimum beperkt — daarom zijn regionale implementaties en CloudFront essentieel voor kostenefficiënte levering van inhoud.

Inhoud leveren via Amazon CloudFront verlaagt de kosten voor gegevensoverdracht aanzienlijk op twee manieren. Ten eerste rekent CloudFront lagere tarieven voor uitgaande gegevensoverdracht dan EC2 of rechtstreekse internettoegang tot S3 (~$0.0085/GB tegenover $0.09/GB). Ten tweede slaat CloudFront inhoud op in edge-locaties, waardoor gegevens minder vaak vanuit je origin worden geleverd — dezelfde inhoud kan mogelijk miljoenen keren uit de cache worden geleverd met slechts één aanvraag bij de origin. Gegevensoverdracht van S3 naar CloudFront is ook gratis. Daardoor is CloudFront niet alleen een hulpmiddel voor prestaties, maar ook voor kostenoptimalisatie.

De kosten voor gegevensverwerking van NAT Gateway ($0.045/GB) kunnen aanzienlijk worden wanneer EC2-instanties in private subnetten regelmatig toegang hebben tot S3 of DynamoDB. Gebruik in plaats daarvan VPC Gateway Endpoints voor S3 en DynamoDB — deze leiden verkeer via de AWS-netwerkbackbone tegen nul kosten en vereisen voor deze diensten geen NAT Gateway. Daarnaast elimineren VPC Interface Endpoints (PrivateLink) voor andere AWS-diensten de verwerkingskosten van NAT Gateway voor verkeer naar die diensten, hoewel voor Interface Endpoints zelf een kleine uurlijkse vergoeding geldt.

S3 brengt zowel kosten per API-aanvraag als per opgeslagen GB in rekening. PUT-, COPY-, POST- en LIST-aanvragen kosten $0.005 per 1.000; GET- en SELECT-aanvragen kosten $0.0004 per 1.000. Voor toepassingen die miljoenen aanvragen doen, lopen deze kosten op. Optimaliseer dit door: kleine objecten te bundelen tot grotere objecten (minder aanvragen), CloudFront te gebruiken om antwoorden uit de cache te leveren (waardoor het aantal GET-aanvragen naar de origin afneemt), lijstbewerkingen waar mogelijk te vermijden (LIST is duur), en S3 Batch Operations te gebruiken voor bulkbewerkingen in plaats van miljoenen afzonderlijke API-aanroepen.

Voor grootschalige gegevensoverdrachten tussen on-premises en AWS, of tussen AWS-diensten, is AWS DataSync kostenefficiënter dan zelfgeschreven overdrachtscode. DataSync gebruikt een speciaal daarvoor ontwikkeld protocol dat tot 10 keer de doorvoersnelheid van opensourcehulpprogramma's haalt en ingebouwde validatie, planning en controle van gegevens biedt. Voor gegevens die via DataSync naar S3, EFS of FSx worden overgedragen, gelden de standaardtarieven van AWS voor gegevensoverdracht — maar dankzij de efficiëntie van DataSync zijn overdrachten sneller voltooid, waardoor de benodigde rekentijd (en kosten) van EC2 voor grote migraties afneemt.

Amazon S3 Storage Lens biedt inzicht voor de hele organisatie in het gebruik van S3-opslag en activiteitsstatistieken voor verschillende accounts en regio's. Het brengt mogelijkheden voor kostenoptimalisatie aan het licht, zoals buckets zonder levenscyclusregels, buckets met onvoltooide multipart-uploads of de verdeling over opslagklassen. Het standaarddashboard van S3 Storage Lens is gratis; het dashboard met geavanceerde statistieken ($0.20/miljoen objecten) voegt detailanalyse per prefix en statistieken over de ouderdom van gegevens toe. Gebruik Storage Lens als uitgangspunt voor elke kostenoptimalisatie van S3 om de buckets met de grootste impact te identificeren.

In deze les heb je geleerd dat S3 Intelligent-Tiering en levenscyclusregels de opslagkosten verlagen door gegevens automatisch naar goedkopere opslagklassen te verplaatsen, dat CloudFront de kosten voor gegevensoverdracht aanzienlijk verlaagt in vergelijking met rechtstreekse levering vanuit S3 of EC2, en dat VPC Gateway Endpoints kosten van NAT Gateway voor verkeer van S3 en DynamoDB elimineren. S3 Storage Lens biedt inzicht in mogelijkheden voor optimalisatie. Hierna bekijken we KMS, ACM en versleutelingspatronen.