Omkostningsoptimering af S3 og dataoverførsel

Amazon S3-lagringsomkostninger varierer betydeligt afhængigt af lagringsklasse og adgangsmønster. S3 Standard koster cirka 0,023 USD pr. GB pr. måned — i petabyteskala bliver det betydeligt. Den gode nyhed er, at S3 tilbyder syv lagringsklasser, der er optimeret til forskellige adgangsfrekvenser, med priser fra 0,023 USD/GB (Standard) til 0,00099 USD/GB (Glacier Deep Archive). Nøglen til optimering af S3-omkostninger er at matche dine data med den rette lagringsklasse og automatisere overgange med livscykluspolitikker.

S3 Intelligent-Tiering flytter automatisk objekter mellem adgangsniveauer baseret på de faktiske adgangsmønstre — ingen gebyrer for hentning og ingen minimumsvarighed for det hyppige niveau. Tjenesten overvåger adgangen på objektniveau: Objekter, der ikke er blevet tilgået i 30 dage, flyttes til det sjældent tilgåede niveau (40 % billigere), og efter 90 dage til arkivniveauet med øjeblikkelig hentning (68 % billigere). Der er et lille månedligt overvågningsgebyr (0,0025 USD pr. 1.000 objekter). Brug Intelligent-Tiering, når du ikke kan forudsige adgangsmønstrene, eller når du har en blanding af ofte og sjældent tilgåede data i samme bucket.

S3-livscyklusregler automatiserer overgange og udløb for objekter baseret på alder. Du definerer regler efter præfiks eller tag og angiver derefter overgange ved bestemte dagstærskler. En typisk arkiveringslivscyklus er: Standard → Standard-IA (30 dage) → Glacier Instant Retrieval (90 dage) → Deep Archive (365 dage) → Slet (2555 dage). Dette kan med tiden reducere lagringsomkostningerne pr. GB fra 0,023 USD til 0,00099 USD — en reduktion på 95 % for arkiverede data. Overgange i livscyklussen har en minimumsstørrelse på 128 KB for IA og Glacier (mindre objekter kan ikke betale sig at overføre).

S3 Select giver dig mulighed for kun at hente de data, du har brug for, fra et S3-objekt ved hjælp af SQL-udtryk i stedet for at hente hele objektet. Hvis du f.eks. har en CSV-fil på 10 GB, men kun har brug for 100 rækker, kan S3 Select hente netop disse rækker — hvilket reducerer omkostningerne til dataoverførsel og behandlingstiden i applikationen markant. Glacier Select gør det samme for objekter i Glacier. S3 Select understøtter formaterne CSV, JSON og Parquet. Det er især værdifuldt i dataanalysepipelines, hvor mange forespørgsler kun tilgår en del af hver datafil.

Ved upload af store objekter opdeler S3 Multipart Upload objekter i dele (mindst 5 MB pr. del), som uploades parallelt. Det forbedrer overførselshastigheden og gør det muligt at genoptage uploads. Mislykkede dele kan forsøges igen uden at genstarte hele uploaden. Ryd ufuldstændige multipart uploads op med livscyklusregler for at undgå at blive opkrævet for ufuldstændige dele. S3 Transfer Acceleration dirigerer uploads gennem AWS CloudFront-edgeplaceringer, så uploads fra fjerne placeringer går hurtigere — det er nyttigt for brugere, der uploader store filer globalt, men medfører ekstra omkostninger (0,04–0,08 USD/GB). Brug det kun, når accelerationen giver en målbar forbedring.

Omkostninger til dataoverførsel er blandt de mest overraskende AWS-regninger. Vigtige regler: Indgående dataoverførsel (til AWS) er gratis. Udgående dataoverførsel til internettet koster cirka 0,09 USD/GB (de første 10 TB/måned). Dataoverførsel på tværs af regioner koster cirka 0,02 USD/GB. Dataoverførsel på tværs af AZ'er i samme region koster 0,01 USD/GB i hver retning. Inden for samme AZ er gratis. Design arkitekturer, så dataoverførsel på tværs af regioner og til internettet begrænses mest muligt — derfor er regionale implementeringer og CloudFront afgørende for omkostningseffektiv levering af indhold.

Levering af indhold gennem Amazon CloudFront reducerer omkostningerne til dataoverførsel markant på to måder. For det første opkræver CloudFront lavere udgående takster end direkte internetadgang via EC2 eller S3 (ca. 0,0085 USD/GB mod 0,09 USD/GB). For det andet cacher CloudFront indhold på edgeplaceringer, hvilket reducerer antallet af gange, data leveres fra din oprindelse — det samme indhold kan potentielt leveres millioner af gange fra cachen med kun én hentning fra oprindelsen. Dataoverførsel fra S3 til CloudFront er også gratis. Det gør CloudFront til et værktøj til omkostningsoptimering, ikke kun til forbedring af ydeevnen.

Gebyrer for databehandling i NAT Gateway (0,045 USD/GB) kan blive betydelige, når EC2-instanser i private undernet ofte tilgår S3 eller DynamoDB. Brug i stedet VPC Gateway Endpoints til S3 og DynamoDB — de dirigerer trafik gennem AWS-netværkets backbone til nul omkostning og kræver ikke en NAT Gateway for disse tjenester. Desuden eliminerer VPC Interface Endpoints (PrivateLink) til andre AWS-tjenester NAT Gateway-gebyrer for trafik til disse tjenester, selvom Interface Endpoints selv har en mindre timepris.

S3 opkræver betaling pr. API-anmodning ud over betaling pr. lagret GB. PUT, COPY, POST, LIST-anmodninger koster 0,005 USD pr. 1.000; GET, SELECT-anmodninger koster 0,0004 USD pr. 1.000. For applikationer, der foretager millioner af anmodninger, løber disse omkostninger op. Optimer ved at: samle små objekter i større objekter (færre anmodninger), bruge CloudFront til at levere cachede svar (reducerer GET-anmodninger til oprindelsen), undgå listehandlinger, hvor det er muligt (LIST er dyr), og bruge S3 Batch Operations til massehandlinger i stedet for millioner af individuelle API-kald.

Ved dataoverførsler i stor skala mellem lokale systemer og AWS eller mellem AWS-tjenester er AWS DataSync mere omkostningseffektiv end at skrive din egen kode til dataoverførsel. DataSync bruger en specialudviklet protokol, der opnår op til 10 gange så høj gennemstrømning som open source-værktøjer, og som omfatter indbygget datavalidering, planlægning og overvågning. Data, der overføres via DataSync til S3, EFS eller FSx, opkræves efter de almindelige AWS-takster for dataoverførsel — men DataSyncs effektivitet betyder, at overførslerne gennemføres hurtigere, så den EC2-beregningstid (og de omkostninger), der kræves til store migreringer, reduceres.

Amazon S3 Storage Lens giver organisationsdækkende indsigt i brugen af S3-lager og aktivitetsmålinger på tværs af konti og regioner. Tjenesten synliggør muligheder for omkostningsoptimering, f.eks. buckets uden livscyklusregler, buckets med ufuldstændige multipart uploads eller fordelingen på lagringsklasser. Standarddashboardet i S3 Storage Lens er gratis; dashboardet med avancerede målinger (0,20 USD/million objekter) tilføjer detaljeret analyse pr. præfiks og målinger af dataalder. Brug Storage Lens som udgangspunkt for enhver optimering af S3-omkostninger for at identificere de buckets, der har størst betydning.

I denne lektion lærte du: S3 Intelligent-Tiering og livscyklusregler reducerer lagringsomkostningerne ved automatisk at flytte data til billigere lagringsklasser, CloudFront reducerer omkostningerne til dataoverførsel markant sammenlignet med direkte levering fra S3 eller EC2, og VPC Gateway Endpoints eliminerer NAT Gateway-gebyrer for trafik til S3 og DynamoDB. S3 Storage Lens giver indsigt i muligheder for optimering. Næste emne er KMS, ACM og krypteringsmønstre.