S3:n ja tiedonsiirron kustannusten optimointi

Amazon S3:n tallennustilan kustannukset vaihtelevat merkittävästi tallennusluokan ja käyttömallin mukaan. S3 Standardin hinta on noin 0,023 $ gigatavulta kuukaudessa — petatavujen mittakaavassa tästä tulee merkittävä kustannus. Hyvä puoli on, että S3 tarjoaa seitsemän eri käyttötiheyteen optimoitua tallennusluokkaa, joiden hinnat vaihtelevat 0,023 dollarista gigatavulta (Standard) 0,00099 dollariin gigatavulta (Glacier Deep Archive). S3:n kustannusten optimoinnin kannalta olennaista on sijoittaa data oikeaan tallennusluokkaan ja automatisoida siirtymät elinkaarikäytännöillä.

S3 Intelligent-Tiering siirtää objektit automaattisesti käyttöportaiden välillä todellisten käyttötapojen perusteella — ilman noutomaksuja ja usein käytetyn portaan vähimmäiskestoa. Se valvoo objektien käyttöä objektitasolla: objektit, joita ei ole käytetty 30 päivään, siirretään harvoin käytettyjen objektien portaaseen (40 % edullisempi), ja 90 päivän jälkeen välittömän arkistoinnin portaaseen (68 % edullisempi). Valvonnasta peritään pieni kuukausimaksu (0,0025 $ 1 000 objektia kohden). Käyttäkää Intelligent-Tiering-ratkaisua, kun käyttömallien ennustaminen on vaikeaa tai samassa bucketissa on sekä usein että harvoin käytettävää dataa.

S3:n elinkaarisäännöt automatisoivat objektien siirrot ja vanhenemisen niiden iän perusteella. Määritätte säännöt prefiksin tai tagin perusteella ja määritätte sitten siirrot tiettyinä päivinä. Tyypillinen arkistointiin käytettävä elinkaari on: Standard → Standard-IA (30 päivää) → Glacier Instant Retrieval (90 päivää) → Deep Archive (365 päivää) → Delete (2555 päivää). Tämä voi pienentää gigatavukohtaisia tallennuskustannuksia ajan mittaan 0,023 dollarista 0,00099 dollariin — arkistointidatan osalta säästö on 95 %. Elinkaarisiirroissa objektin vähimmäiskoko on 128 kt IA- ja Glacier-luokissa, joten tätä pienempien objektien siirtäminen ei ole kustannustehokasta.

S3 Select mahdollistaa vain tarvittavien tietojen noutamisen S3-objektista SQL-lausekkeiden avulla sen sijaan, että koko objekti ladattaisiin. Jos 10 gigatavun CSV-tiedostosta tarvitaan vain 100 riviä, S3 Select voi noutaa ainoastaan nämä rivit — mikä vähentää tiedonsiirtokustannuksia ja sovelluksen käsittelyaikaa huomattavasti. Glacier Select tekee saman Glacierissa oleville objekteille. S3 Select tukee CSV-, JSON- ja Parquet-muotoja. Tämä on erityisen hyödyllistä data-analytiikan käsittelyputkissa, joissa monet kyselyt käsittelevät vain osaa kustakin datatiedostosta.

Suuria objekteja ladattaessa S3 Multipart Upload jakaa objektit osiin (osan vähimmäiskoko on 5 Mt), jotka ladataan rinnakkain. Tämä parantaa siirtonopeutta ja mahdollistaa latauksen jatkamisen keskeytyksen jälkeen. Epäonnistuneet osat voidaan yrittää uudelleen aloittamatta koko latausta alusta. Poistakaa keskeneräiset multipart-lataukset elinkaarisäännöillä, jotta keskeneräisistä osista ei veloiteta. S3 Transfer Acceleration reitittää lataukset AWS CloudFrontin reunasijaintien kautta, mikä nopeuttaa latauksia etäisistä sijainneista — tämä on hyödyllistä, kun käyttäjät lataavat suuria tiedostoja eri puolilta maailmaa, mutta lisää kustannuksia (0,04–0,08 $/Gtavua). Käyttäkää sitä vain, jos kiihdytys parantaa suorituskykyä mitattavasti.

Tiedonsiirtokustannukset ovat yksi AWS-laskujen yllättävimmistä kulueristä. Keskeiset säännöt ovat seuraavat: saapuva tiedonsiirto (AWS:ään) on maksutonta. Internetin kautta lähtevä tiedonsiirto maksaa noin 0,09 $ gigatavulta (kuukauden ensimmäiset 10 Tt). Alueiden välinen tiedonsiirto maksaa noin 0,02 $ gigatavulta. Saatavuusalueiden välinen tiedonsiirto saman alueen sisällä maksaa 0,01 $ gigatavulta kumpaankin suuntaan. Saman saatavuusalueen sisäinen tiedonsiirto on maksutonta. Suunnitelkaa arkkitehtuurit siten, että alueiden välinen ja internetiin suuntautuva tiedonsiirto on mahdollisimman vähäistä — siksi alueelliset käyttöönotot ja CloudFront ovat keskeisiä kustannustehokkaassa sisällönjakelussa.

Sisällön jakaminen Amazon CloudFrontin kautta pienentää tiedonsiirtokustannuksia huomattavasti kahdella tavalla. Ensinnäkin CloudFrontin ulospäin suuntautuvan liikenteen hinnat ovat alhaisemmat kuin EC2:n tai S3:n suorassa internet-käytössä (noin 0,0085 $/Gtavua verrattuna 0,09 $/Gtavuun). Toiseksi CloudFront tallentaa sisältöä välimuistiin reunasijainneissa, mikä vähentää sitä, kuinka monta kertaa data toimitetaan alkuperäisestä lähteestä — sama sisältö voidaan mahdollisesti tarjota miljoonia kertoja välimuistista vain yhdellä noudolla alkuperäisestä lähteestä. Tiedonsiirto S3:sta CloudFrontiin on myös maksutonta. Siksi CloudFront on suorituskykytyökalun lisäksi myös kustannusten optimointityökalu.

NAT Gatewayn tiedonkäsittelymaksuista (0,045 $/Gtavua) voi muodostua merkittävä kustannus, kun yksityisten aliverkkojen EC2-instanssit käyttävät usein S3:a tai DynamoDB:tä. Käyttäkää sen sijaan S3:lle ja DynamoDB:lle VPC Gateway Endpoints -päätepisteitä — ne reitittävät liikenteen AWS:n runkoverkon kautta ilman kustannuksia, eikä näitä palveluja varten tarvita NAT Gatewayta. Lisäksi muiden AWS-palvelujen VPC Interface Endpoints (PrivateLink) -päätepisteet poistavat kyseisen palveluliikenteen NAT Gatewayn käsittelymaksut, vaikka Interface Endpoints -päätepisteistä itsestään peritään pieni tuntihinta.

S3 veloittaa sekä tallennetusta gigatavuista että API-pyynnöistä. PUT-, COPY-, POST- ja LIST-pyynnöt maksavat 0,005 $ tuhatta pyyntöä kohden; GET- ja SELECT-pyynnöt maksavat 0,0004 $ tuhatta pyyntöä kohden. Miljoonia pyyntöjä tekevien sovellusten kustannukset kasvavat nopeasti. Optimoikaa kustannuksia seuraavasti: eräyttäkää pienet objektit suuremmiksi objekteiksi (vähemmän pyyntöjä), käyttäkää CloudFrontia välimuistissa olevien vastausten tarjoamiseen (vähentää alkuperäiseen lähteeseen kohdistuvia GET-pyyntöjä), välttäkää luettelointitoimintoja aina kun mahdollista (LIST on kallis) ja käyttäkää S3 Batch Operations -toimintoa joukkotoimintoihin miljoonien yksittäisten API-kutsujen sijaan.

Suurissa tiedonsiirroissa paikallisen ympäristön ja AWS:n välillä tai AWS-palvelujen välillä AWS DataSync on kustannustehokkaampi kuin oman siirtokoodin kirjoittaminen. DataSync käyttää tähän tarkoitukseen suunniteltua protokollaa, joka saavuttaa jopa kymmenkertaisen siirtonopeuden avoimen lähdekoodin työkaluihin verrattuna ja sisältää sisäänrakennetun tietojen validoinnin, ajoituksen ja valvonnan. DataSyncin kautta S3:een, EFS:ään tai FSx:ään siirrettyyn dataan sovelletaan AWS:n tavanomaisia tiedonsiirtohintoja — DataSyncin tehokkuus kuitenkin nopeuttaa siirtoja, jolloin suuriin migraatioihin tarvittava EC2-laskenta-aika ja -kustannukset pienenevät.

Amazon S3 Storage Lens tarjoaa koko organisaation kattavan näkyvyyden S3-tallennustilan käyttöön ja toiminnan mittareihin eri tileillä ja alueilla. Se tuo esiin kustannusten optimointimahdollisuuksia, kuten bucketit, joilla ei ole elinkaarisääntöjä, keskeneräisiä multipart-latauksia sisältävät bucketit tai tallennusluokkien jakauman. S3 Storage Lensin oletuskoontinäyttö on maksuton; kehittyneiden mittareiden koontinäyttö (0,20 $ miljoonaa objektia kohden) lisää prefiksikohtaisen tarkastelun ja tietojen ikää koskevat mittarit. Käyttäkää Storage Lensia lähtökohtana kaikissa S3:n kustannusten optimointitoimissa, jotta tunnistatte suurimman vaikutuksen tarjoavat bucketit.

Tässä oppitunnissa opitte, että S3 Intelligent-Tiering ja elinkaarisäännöt pienentävät tallennuskustannuksia siirtämällä datan automaattisesti edullisempiin tallennusluokkiin, CloudFront pienentää tiedonsiirtokustannuksia huomattavasti verrattuna sisällön tarjoamiseen suoraan S3:sta tai EC2:sta ja VPC Gateway Endpoints -päätepisteet poistavat NAT Gateway -maksut S3- ja DynamoDB-liikenteeltä. S3 Storage Lens tarjoaa näkyvyyden optimointimahdollisuuksiin. Seuraavaksi tutustumme KMS:ään, ACM:ään ja salausmalleihin.