Optymalizacja kosztów S3 i transferu danych

Koszty pamięci masowej Amazon S3 znacznie różnią się w zależności od klasy pamięci masowej i sposobu dostępu. S3 Standard kosztuje około 0,023 USD za GB miesięcznie — przy skali petabajtowej kwota ta staje się znacząca. Dobrą wiadomością jest to, że S3 oferuje siedem klas pamięci masowej zoptymalizowanych pod kątem różnej częstotliwości dostępu, z cenami od 0,023 USD/GB (Standard) do 0,00099 USD/GB (Glacier Deep Archive). Kluczem do optymalizacji kosztów S3 jest dopasowanie danych do odpowiedniej klasy pamięci masowej oraz automatyzacja przejść za pomocą zasad cyklu życia.

S3 Intelligent-Tiering automatycznie przenosi obiekty między warstwami dostępu na podstawie rzeczywistych wzorców dostępu — bez opłat za pobieranie danych i bez minimalnego czasu przechowywania w warstwie częstego dostępu. Usługa monitoruje dostęp do obiektów na poziomie pojedynczego obiektu: obiekty, do których nie uzyskano dostępu przez 30 dni, są przenoszone do warstwy rzadkiego dostępu (o 40% tańszej), a po 90 dniach do warstwy natychmiastowego dostępu do archiwum (o 68% tańszej). Pobierana jest niewielka miesięczna opłata za monitorowanie (0,0025 USD za 1000 obiektów). Z Intelligent-Tiering należy korzystać, gdy nie można przewidzieć wzorców dostępu lub gdy w tym samym bucketcie znajdują się dane często i rzadko używane.

Zasady cyklu życia S3 automatyzują przenoszenie i wygasanie obiektów na podstawie ich wieku. Zasady definiuje się według prefiksu lub tagu, a następnie określa przejścia przy konkretnych progach liczby dni. Typowy cykl życia danych archiwalnych: Standard → Standard-IA (30 dni) → Glacier Instant Retrieval (90 dni) → Deep Archive (365 dni) → Delete (2555 dni). Z czasem może to obniżyć koszt pamięci masowej za GB z 0,023 USD do 0,00099 USD — czyli o 95% w przypadku danych archiwalnych. Przejścia cyklu życia mają minimalny rozmiar obiektu wynoszący 128 KB dla IA i Glacier (przenoszenie mniejszych obiektów nie jest opłacalne).

S3 Select umożliwia pobieranie tylko potrzebnych danych z obiektu S3 za pomocą wyrażeń SQL, zamiast pobierania całego obiektu. W przypadku pliku CSV o rozmiarze 10 GB, z którego potrzebuje Pan / Pani tylko 100 wierszy, S3 Select może pobrać wyłącznie te wiersze — znacznie ograniczając koszty transferu danych i czas przetwarzania przez aplikację. Glacier Select działa tak samo w przypadku obiektów w Glacier. S3 Select obsługuje formaty CSV, JSON i Parquet. Jest to szczególnie przydatne w potokach analityki danych, w których wiele zapytań uzyskuje dostęp tylko do podzbioru każdego pliku danych.

W przypadku przesyłania dużych obiektów S3 Multipart Upload dzieli je na części (minimalny rozmiar części to 5 MB), które są przesyłane równolegle, zwiększając przepustowość i umożliwiając wznawianie przesyłania. Nieudane części można przesłać ponownie bez rozpoczynania całego przesyłania od początku. Aby uniknąć opłat za nieukończone części, należy usuwać nieukończone przesyłania multipart za pomocą zasad cyklu życia. S3 Transfer Acceleration kieruje przesyłanie przez lokalizacje brzegowe AWS CloudFront, przyspieszając przesyłanie z odległych lokalizacji — jest to przydatne w przypadku użytkowników przesyłających duże pliki z całego świata, ale wiąże się z dodatkowymi kosztami (0,04–0,08 USD/GB). Należy korzystać z tej funkcji tylko wtedy, gdy przyspieszenie zapewnia mierzalną poprawę.

Koszty transferu danych należą do najbardziej zaskakujących pozycji na rachunkach AWS. Najważniejsze zasady: transfer danych przychodzący (do AWS) jest bezpłatny. Transfer danych wychodzący do Internetu kosztuje około 0,09 USD/GB (pierwsze 10 TB miesięcznie). Transfer danych między regionami kosztuje około 0,02 USD/GB. Transfer danych między strefami dostępności w tym samym regionie kosztuje 0,01 USD/GB w każdym kierunku. Transfer w obrębie tej samej strefy dostępności jest bezpłatny. Architektury należy projektować tak, aby minimalizować transfer między regionami i transfer do Internetu — dlatego wdrożenia regionalne i CloudFront mają kluczowe znaczenie dla ekonomicznego dostarczania treści.

Dostarczanie treści za pośrednictwem Amazon CloudFront znacznie obniża koszty transferu danych na dwa sposoby. Po pierwsze, CloudFront pobiera niższe stawki za transfer wychodzący niż EC2 lub bezpośredni dostęp do Internetu z S3 (~0,0085 USD/GB w porównaniu z 0,09 USD/GB). Po drugie, CloudFront buforuje treści w lokalizacjach brzegowych, ograniczając liczbę przypadków, w których dane są pobierane z originu — potencjalnie ta sama treść może zostać dostarczona miliony razy z pamięci podręcznej po tylko jednym pobraniu z originu. Transfer danych z S3 do CloudFront jest również bezpłatny. Dzięki temu CloudFront jest narzędziem optymalizacji kosztów, a nie tylko wydajności.

NAT Gateway może generować znaczące koszty przetwarzania danych (0,045 USD/GB), gdy instancje EC2 w podsieciach prywatnych często uzyskują dostęp do S3 lub DynamoDB. Zamiast tego należy użyć VPC Gateway Endpoints dla S3 i DynamoDB — kierują one ruch przez szkielet sieci AWS przy zerowym koszcie i eliminują konieczność korzystania z NAT Gateway dla tych usług. Dodatkowo VPC Interface Endpoints (PrivateLink) dla innych usług AWS eliminują opłaty za przetwarzanie NAT Gateway w przypadku ruchu do tych usług, choć same Interface Endpoints wiążą się z niewielką opłatą godzinową.

S3 pobiera opłaty zarówno za żądania API, jak i za przechowywanie każdego GB. Żądania PUT, COPY, POST, LIST kosztują 0,005 USD za 1000, a żądania GET, SELECT kosztują 0,0004 USD za 1000. W przypadku aplikacji wykonujących miliony żądań koszty te się kumulują. Można je optymalizować poprzez: grupowanie małych obiektów w większe (mniej żądań), używanie CloudFront do dostarczania buforowanych odpowiedzi (ogranicza liczbę żądań GET do originu), unikanie operacji listowania, gdy tylko jest to możliwe (LIST jest kosztowne), oraz używanie S3 Batch Operations do operacji zbiorczych zamiast milionów pojedynczych wywołań API.

W przypadku transferów danych na dużą skalę między środowiskiem lokalnym a AWS lub między usługami AWS AWS DataSync jest bardziej opłacalny niż tworzenie własnego kodu do transferu. DataSync korzysta z przeznaczonego do tego celu protokołu, który zapewnia przepustowość do 10 razy większą niż narzędzia open source, a także oferuje wbudowaną walidację danych, harmonogramowanie i monitorowanie. Transfer danych za pośrednictwem DataSync do S3, EFS lub FSx jest rozliczany według standardowych stawek AWS za transfer danych — jednak wydajność DataSync pozwala szybciej kończyć transfery, ograniczając czas obliczeń EC2 (i związane z nim koszty) potrzebny podczas dużych migracji.

Amazon S3 Storage Lens zapewnia widoczność wykorzystania pamięci masowej S3 i metryk aktywności w całej organizacji, we wszystkich kontach i regionach. Wskazuje możliwości optymalizacji kosztów, takie jak buckety bez zasad cyklu życia, buckety z nieukończonymi przesyłaniami multipart lub rozkład klas pamięci masowej. Domyślny pulpit S3 Storage Lens jest bezpłatny; pulpit z zaawansowanymi metrykami (0,20 USD za milion obiektów) dodaje analizę z możliwością przechodzenia do poziomu prefiksu oraz metryki wieku danych. Storage Lens należy traktować jako punkt wyjścia każdej optymalizacji kosztów S3, aby zidentyfikować buckety o największym wpływie.

Sprawdź swoją wiedzę na temat koncepcji AWS Solutions Architect (SAA-C03) przedstawionych w tej lekcji.

W tej lekcji nauczył się Pan / nauczyła się Pani, że: S3 Intelligent-Tiering i zasady cyklu życia obniżają koszty pamięci masowej, automatycznie przenosząc dane do tańszych klas pamięci masowej, CloudFront znacznie obniża koszty transferu danych w porównaniu z bezpośrednim dostarczaniem ich z S3 lub EC2, a VPC Gateway Endpoints eliminują opłaty NAT Gateway za ruch S3 i DynamoDB. S3 Storage Lens zapewnia widoczność możliwości optymalizacji. Następnie omówimy KMS, ACM i wzorce szyfrowania.