Ottimizzazione dei costi di S3 e del trasferimento dati

I costi di archiviazione di Amazon S3 variano significativamente in base alla classe di archiviazione e al modello di accesso. S3 Standard costa circa 0,023 $ per GB al mese; su scala petabyte, questa cifra diventa significativa. La buona notizia è che S3 offre sette classi di archiviazione ottimizzate per diverse frequenze di accesso, con prezzi che vanno da 0,023 $/GB (Standard) a 0,00099 $/GB (Glacier Deep Archive). La chiave per ottimizzare i costi di S3 consiste nell'associare i dati alla classe di archiviazione corretta e automatizzare le transizioni con le policy del ciclo di vita.

S3 Intelligent-Tiering sposta automaticamente gli oggetti tra i livelli di accesso in base ai modelli di accesso effettivi: non prevede costi di recupero né una durata minima per il livello ad accesso frequente. Monitora l'accesso agli oggetti a livello di singolo oggetto: quelli a cui non si accede per 30 giorni vengono spostati nel livello ad accesso infrequente (40% più economico) e, dopo 90 giorni, nel livello di archiviazione ad accesso immediato (68% più economico). È previsto un piccolo costo mensile di monitoraggio (0,0025 $ per 1.000 oggetti). Utilizzi Intelligent-Tiering quando non è possibile prevedere i modelli di accesso o quando nello stesso bucket sono presenti dati ad accesso frequente e dati ad accesso raro.

Le regole del ciclo di vita di S3 automatizzano le transizioni e le scadenze degli oggetti in base alla loro età. È possibile definire le regole in base a un prefisso o a un tag e specificare le transizioni al raggiungimento di determinate soglie in giorni. Un ciclo di vita di archiviazione tipico è: Standard → Standard-IA (30 giorni) → Glacier Instant Retrieval (90 giorni) → Deep Archive (365 giorni) → Eliminazione (2555 giorni). Nel tempo, ciò può ridurre i costi di archiviazione per GB da 0,023 $ a 0,00099 $, con una riduzione del 95% per i dati archiviati. Le transizioni del ciclo di vita prevedono una dimensione minima dell'oggetto di 128 KB per IA e Glacier; per gli oggetti più piccoli la transizione non è conveniente.

S3 Select consente di recuperare solo i dati necessari da un oggetto S3 utilizzando espressioni SQL, invece di scaricare l'intero oggetto. Per un file CSV da 10 GB di cui servono solo 100 righe, S3 Select può recuperare esclusivamente quelle righe, riducendo drasticamente i costi di trasferimento dati e i tempi di elaborazione dell'applicazione. Glacier Select svolge la stessa funzione per gli oggetti in Glacier. S3 Select supporta i formati CSV, JSON e Parquet. Questa funzionalità è particolarmente utile nelle pipeline di analisi dei dati, in cui molte query accedono solo a un sottoinsieme di ogni file di dati.

Per caricare oggetti di grandi dimensioni, S3 Multipart Upload suddivide gli oggetti in parti (di almeno 5 MB ciascuna) che vengono caricate in parallelo, migliorando il throughput e consentendo di riprendere i caricamenti interrotti. È possibile ritentare il caricamento delle parti non riuscite senza ricominciare da capo. Per evitare addebiti relativi alle parti incomplete, elimini i caricamenti multipart incompleti tramite le regole del ciclo di vita. S3 Transfer Acceleration instrada i caricamenti attraverso le edge location di AWS CloudFront per velocizzare i caricamenti da località distanti; è utile per gli utenti che caricano file di grandi dimensioni da diverse parti del mondo, ma comporta un costo aggiuntivo (0,04-0,08 $/GB). Lo utilizzi solo quando l'accelerazione produce un miglioramento misurabile.

I costi di trasferimento dati sono tra le voci più sorprendenti delle fatture AWS. Regole principali: il trasferimento dati in entrata (verso AWS) è gratuito. Il trasferimento dati in uscita verso Internet costa circa 0,09 $/GB (per i primi 10 TB al mese). Il trasferimento dati tra regioni costa circa 0,02 $/GB. Il trasferimento dati tra AZ nella stessa regione costa 0,01 $/GB in ciascuna direzione. Il trasferimento all'interno della stessa AZ è gratuito. Progetti l'architettura in modo da ridurre al minimo il trasferimento dati tra regioni e verso Internet: per questo le implementazioni regionali e CloudFront sono fondamentali per distribuire contenuti in modo conveniente.

La distribuzione dei contenuti tramite Amazon CloudFront riduce drasticamente i costi di trasferimento dati in due modi. Innanzitutto, CloudFront applica tariffe di uscita inferiori rispetto all'accesso diretto a Internet tramite EC2 o S3 (circa 0,0085 $/GB contro 0,09 $/GB). Inoltre, CloudFront memorizza i contenuti nella cache delle edge location, riducendo il numero di volte in cui i dati vengono forniti dall'origine: lo stesso contenuto può essere fornito potenzialmente milioni di volte dalla cache con una sola richiesta all'origine. Anche il trasferimento dati da S3 a CloudFront è gratuito. CloudFront è quindi uno strumento di ottimizzazione dei costi, non solo delle prestazioni.

I costi di elaborazione dei dati del NAT Gateway (0,045 $/GB) possono diventare significativi quando le istanze EC2 nelle subnet private accedono frequentemente a S3 o DynamoDB. Utilizzi invece i VPC Gateway Endpoint per S3 e DynamoDB: instradano il traffico attraverso il backbone di rete AWS a costo zero e non richiedono un NAT Gateway per questi servizi. Inoltre, i VPC Interface Endpoint (PrivateLink) per altri servizi AWS eliminano i costi di elaborazione del NAT Gateway per il traffico diretto a tali servizi, anche se gli Interface Endpoint prevedono un piccolo costo orario.

S3 applica costi sia per ogni richiesta API sia per ogni GB archiviato. Le richieste PUT, COPY, POST, LIST costano 0,005 $ per 1.000; le richieste GET, SELECT costano 0,0004 $ per 1.000. Per le applicazioni che effettuano milioni di richieste, questi costi si accumulano. Ottimizzi i costi: raggruppando gli oggetti di piccole dimensioni in oggetti più grandi (meno richieste), utilizzando CloudFront per fornire risposte memorizzate nella cache (riduce le richieste GET all'origine), evitando le operazioni di elenco quando possibile (LIST è costosa) e utilizzando S3 Batch Operations per le operazioni in blocco invece di milioni di chiamate API singole.

Per trasferimenti di dati su larga scala tra l'ambiente on-premise e AWS, oppure tra servizi AWS, AWS DataSync è più conveniente rispetto alla scrittura di codice personalizzato per il trasferimento. DataSync utilizza un protocollo appositamente progettato che raggiunge un throughput fino a 10 volte superiore rispetto agli strumenti open source e include convalida dei dati, pianificazione e monitoraggio integrati. I dati trasferiti tramite DataSync verso S3, EFS o FSx vengono fatturati secondo le tariffe standard di trasferimento dati AWS; tuttavia, l'efficienza di DataSync consente di completare i trasferimenti più rapidamente, riducendo il tempo di calcolo EC2 (e il relativo costo) necessario per le migrazioni di grandi dimensioni.

Amazon S3 Storage Lens offre una visibilità a livello organizzativo sull'utilizzo dello storage S3 e sulle metriche di attività tra account e regioni. Evidenzia opportunità di ottimizzazione dei costi, ad esempio bucket privi di regole del ciclo di vita, bucket con caricamenti multipart incompleti o la distribuzione tra classi di archiviazione. Il pannello di controllo predefinito di S3 Storage Lens è gratuito; il pannello con metriche avanzate (0,20 $/milione di oggetti) aggiunge l'analisi dettagliata per prefisso e le metriche sull'età dei dati. Utilizzi Storage Lens come punto di partenza per qualsiasi attività di ottimizzazione dei costi S3, così da individuare i bucket con il maggiore impatto.

Verifichi la sua comprensione dei concetti di AWS Solutions Architect (SAA-C03) trattati in questa lezione.

In questa lezione ha imparato che: S3 Intelligent-Tiering e le regole del ciclo di vita riducono i costi di archiviazione spostando automaticamente i dati verso classi di archiviazione più economiche, CloudFront riduce drasticamente i costi di trasferimento dati rispetto alla distribuzione diretta da S3 o EC2 e i VPC Gateway Endpoint eliminano i costi del NAT Gateway per il traffico verso S3 e DynamoDB. S3 Storage Lens offre visibilità sulle opportunità di ottimizzazione. Ora analizzeremo KMS, ACM e i modelli di crittografia.