Buckety, obiekty i Regiony

Amazon Simple Storage Service (S3) to usługa magazynu obiektowego AWS przeznaczona do przechowywania i pobierania dowolnej ilości danych z dowolnego miejsca w Internecie. S3 zapewnia 11 dziewiątek trwałości (99,999999999%), przechowując nadmiarowo obiekty na wielu urządzeniach w wielu strefach dostępności w wybranym Regionie. Usługa jest skalowalna bez ograniczeń, nie ma limitu pojemności i obsługuje obiekty o rozmiarze od 0 bajtów do 5 TB. S3 stanowi podstawę niezliczonych architektur AWS — służy do hostowania statycznych witryn internetowych, tworzenia jezior danych, przechowywania repozytoriów kopii zapasowych i wielu innych zastosowań.

Bucket S3 to nazwany kontener obiektów o unikalnej w skali globalnej nazwie. Buckety są tworzone w konkretnym Regionie AWS, ale ich nazwy muszą być unikalne na całym świecie, wśród wszystkich kont AWS (ponieważ nazwa staje się częścią adresu URL). Nazwy bucketów muszą mieć od 3 do 63 znaków, być zapisane małymi literami, zaczynać się od litery lub cyfry oraz nie zawierać podkreśleń ani wielkich liter. Dobra praktyka: należy uwzględnić identyfikator konta lub losowy sufiks, aby uniknąć kolizji nazw z innymi kontami.

Obiekt w S3 składa się z danych (zawartości pliku), klucza (unikalnej nazwy obiektu w buckecie), metadanych (systemowych i zdefiniowanych przez użytkownika par klucz-wartość) oraz opcjonalnego identyfikatora wersji (jeśli włączono przechowywanie wersji). Klucz to pełny ciąg znaków przypominający ścieżkę, np. photos/2024/summer/beach.jpg. S3 ma płaską strukturę — nie ma rzeczywistych katalogów, a jedynie prefiksy kluczy wyglądające jak katalogi. Maksymalny rozmiar obiektu wynosi 5 TB; w przypadku obiektów większych niż 100 MB należy użyć funkcji Multipart Upload, aby uzyskać lepszą wydajność i niezawodność.

Obiekty S3 można udostępniać za pomocą dwóch formatów adresów URL. Path-style: https://s3.<region>.amazonaws.com/<bucket>/<key> (wycofywany w przypadku nowych bucketów). Virtual-hosted-style: https://<bucket>.s3.<region>.amazonaws.com/<key> (obecny standard). Nazwa bucketa staje się subdomeną, dlatego nazwy bucketów muszą być zgodne z wymaganiami DNS. W przypadku wstępnie podpisanych adresów URL i dystrybucji CloudFront zawsze zobaczą Państwo format virtual-hosted. Zrozumienie struktury adresów URL ułatwia prawidłową konfigurację zasad bucketu i CORS.

Od grudnia 2020 r. Amazon S3 zapewnia silną spójność odczytu po zapisie dla wszystkich operacji — PUT nowych obiektów, nadpisywania i DELETE — automatycznie we wszystkich Regionach i bez dodatkowych opłat. Oznacza to, że gdy tylko zapis zakończy się powodzeniem, każdy kolejny odczyt zwróci najnowszą wersję obiektu. Jest to znaczące ulepszenie względem wcześniejszego modelu spójności ostatecznej i upraszcza projektowanie aplikacji, eliminując potrzebę opóźnień odczytu po zapisie oraz logiki ponawiania prób.

Podczas tworzenia bucketa S3 należy określić Region, a dane pozostają w tym Regionie, chyba że jawnie skonfigurują Państwo replikację. AWS replikuje dane w obrębie tego Regionu w wielu strefach dostępności w celu zapewnienia trwałości, ale nie przenosi ich automatycznie do innych Regionów. Taka regionalna rezydencja danych ma znaczenie dla zgodności z przepisami: jeśli regulacje wymagają przechowywania danych w UE, należy utworzyć bucket w eu-west-1 lub innym Regionie UE, a dane nie opuszczą tego obszaru.

Funkcja Multipart Upload jest wymagana w przypadku obiektów większych niż 5 GB i zalecana dla obiektów większych niż 100 MB. Dzieli obiekt na części (minimum 5 MB na część, maksymalnie 10 000 części), przesyła każdą część niezależnie (równolegle), a następnie łączy je w obiekt końcowy. Jeśli dowolna część zakończy się niepowodzeniem, ponawiane jest przesyłanie tylko tej części. AWS CLI i SDK automatycznie obsługują przesyłanie wieloczęściowe podczas używania polecenia aws s3 cp dla dużych plików — nie muszą Państwo implementować tej funkcji ręcznie.

Każdy obiekt S3 ma metadane systemowe ustawiane przez AWS (Content-Type, Content-Length, ETag, Last-Modified) oraz opcjonalne metadane zdefiniowane przez użytkownika (niestandardowe pary klucz-wartość z prefiksem x-amz-meta-). Metadane są przechowywane razem z obiektem i zwracane w nagłówkach odpowiedzi HTTP podczas pobierania obiektu. Content-Type ma szczególne znaczenie podczas udostępniania treści w Internecie — jeśli prześlą Państwo plik HTML bez ustawienia Content-Type: text/html, przeglądarki mogą zaproponować jego pobranie zamiast go wyświetlić.

Amazon S3 może pełnić funkcję hostingu statycznej witryny internetowej — udostępniać bezpośrednio z bucketa pliki HTML, CSS, JavaScript, obrazy i inne pliki. Należy włączyć hosting statycznej witryny w ustawieniach bucketa oraz określić dokument indeksu (index.html) i opcjonalny dokument błędu (404.html). Adres URL punktu końcowego witryny ma format: http://<bucket>.s3-website.<region>.amazonaws.com. Aby zapewnić obsługę HTTPS i niestandardowej domeny, należy umieścić dystrybucję CloudFront przed bucketem S3 statycznej witryny.

Funkcja S3 Transfer Acceleration przyspiesza przesyłanie obiektów na duże odległości, kierując dane przez najbliższą lokalizację brzegową CloudFront, a następnie przez prywatną sieć szkieletową AWS do Regionu bucketa S3. Zamiast przesyłać dane bezpośrednio do punktu końcowego S3, klient przesyła je do przyspieszonego punktu końcowego, takiego jak my-bucket.s3-accelerate.amazonaws.com. Transfer Acceleration wiąże się z niewielką opłatą za każdy GB, ale może znacznie zwiększyć szybkość przesyłania dla użytkowników znajdujących się daleko geograficznie od Regionu bucketa.

Tagi obiektów to pary klucz-wartość przypisywane obiektom S3 w celu ich kategoryzowania i zarządzania nimi. Tagi służą do: reguł cyklu życia (przenoszenia lub wygaszania obiektów z określonymi tagami), kontroli dostępu (warunków w IAM i zasadach bucketu opartych na wartościach tagów), alokacji kosztów (Cost Explorer śledzi wydatki na S3 według tagów) oraz inwentaryzacji i analityki. Każdy obiekt może mieć maksymalnie 10 tagów. Tagi można dodawać podczas przesyłania obiektu lub aktualizować po jego utworzeniu, bez modyfikowania samych danych obiektu.

W tej lekcji nauczyli się Państwo, że: buckety S3 to kontenery o unikalnych w skali globalnej nazwach, powiązane z konkretnym Regionem, obiekty są przechowywane w płaskiej strukturze kluczy oraz obsługują metadane i tagi, a S3 zapewnia silną spójność odczytu po zapisie i 11 dziewiątek trwałości dzięki nadmiarowości w wielu strefach dostępności. W następnej części omówimy kontrolę dostępu do S3 za pomocą zasad bucketu i list ACL.