Blob Storage: magazyn obiektów w chmurze

Azure Blob Storage (Binary Large Object) to rozwiązanie Azure do przechowywania ogromnych ilości danych nieustrukturyzowanych — danych, które nie pasują do schematu relacyjnej bazy danych. Przykłady obejmują obrazy, nagrania wideo, pliki audio, dokumenty PDF, pliki dzienników, kopie zapasowe i pliki binarne aplikacji. Dostęp do Blob Storage można uzyskać za pośrednictwem interfejsów API REST HTTP/HTTPS, zestawu Azure SDK lub interfejsu Azure CLI. Jest to jedna z najczęściej używanych usług Azure oraz podstawa wielu architektur jezior danych, multimediów i kopii zapasowych.

Blob Storage jest zorganizowany w trójpoziomową hierarchię: Storage Account → Container → Blob. Kontener przypomina folder najwyższego poziomu — grupuje powiązane obiekty blob i definiuje zasady dostępu do całej zawartości. Obiekt blob to pojedynczy obiekt (plik) przechowywany w kontenerze. Nazwy obiektów blob mogą zawierać ukośniki (/) w celu symulowania hierarchii folderów (np. images/2024/photo.jpg), jednak Blob Storage ma zasadniczo płaską strukturę — ukośniki są częścią nazwy obiektu blob, a nie rzeczywistymi katalogami.

Azure Blob Storage obsługuje trzy typy obiektów blob: Block blobs — najczęściej używany typ, idealny do przechowywania dokumentów, obrazów i nagrań wideo. Dane są dzielone na bloki i przesyłane równolegle; maksymalny rozmiar wynosi około 190 TB. Append blobs — zoptymalizowane pod kątem operacji wyłącznie dopisywania, takich jak zapisywanie plików dzienników; nowe dane są zawsze dodawane na końcu. Page blobs — kolekcje stron o rozmiarze 512 bajtów zoptymalizowane pod kątem losowego dostępu do odczytu i zapisu; są używane przez zarządzane dyski maszyn wirtualnych Azure jako podstawowy mechanizm magazynowania. W razie wątpliwości należy użyć obiektów block blob — to domyślny typ ogólnego magazynu obiektów.

Blob Storage oferuje trzy warstwy dostępu, które równoważą koszt magazynowania z kosztem dostępu: Hot tier — najwyższy koszt magazynowania i najniższy koszt dostępu; przeznaczona do danych często używanych. Cool tier — niższy koszt magazynowania, wyższy koszt dostępu i minimalny okres przechowywania wynoszący 30 dni; przeznaczona do rzadko używanych danych, takich jak raporty miesięczne. Archive tier — najniższy koszt magazynowania (około 95% niższy niż w warstwie Hot), ale przed uzyskaniem dostępu do danych wymagane jest trwające kilka godzin ponowne nawodnienie; przeznaczona do długoterminowych archiwów zgodności, do których dostęp jest rzadki. Domyślną warstwę można ustawić na poziomie konta i zmienić ją dla poszczególnych obiektów blob.

Ręczne zarządzanie warstwami dostępu milionów obiektów blob jest niepraktyczne. Zasady zarządzania cyklem życia automatyzują ten proces: można zdefiniować reguły przenoszące obiekty blob do chłodniejszych warstw lub usuwające je na podstawie ich wieku albo daty ostatniego dostępu. Przykładowo można przenieść obiekty blob do warstwy Cool po 30 dniach od ostatniej modyfikacji, do warstwy Archive po 180 dniach, a następnie usunąć je po 365 dniach. Dzięki temu magazyn automatycznie optymalizuje koszty w miarę upływu czasu, bez ręcznej ingerencji. Zasady cyklu życia są definiowane w formacie JSON i stosowane na poziomie konta magazynu, więc dotyczą wszystkich obiektów blob na tym koncie.

Domyślnie wszystkie obiekty blob w kontenerze są prywatne — dostęp do nich mają tylko uwierzytelnieni użytkownicy z odpowiednimi uprawnieniami. Kontenery i obiekty blob można upublicznić, ustawiając dla kontenera poziom dostępu Blob (odczyt pojedynczych obiektów blob) lub Container (odczyt listy kontenera i wszystkich obiektów blob). Aby uzyskać bardziej szczegółowy i ograniczony czasowo dostęp, należy użyć mechanizmu Shared Access Signatures (SAS) — adresów URL zawierających token kryptograficzny, który przyznaje określone uprawnienia (odczyt, zapis, usuwanie) do konkretnego zasobu w określonym przedziale czasu, bez udostępniania kluczy konta.

Azure Blob Storage może hostować statyczne witryny internetowe — pliki HTML, CSS, JavaScript i obrazy udostępniane bezpośrednio z konta magazynu za pośrednictwem HTTP/HTTPS, bez kodu wykonywanego po stronie serwera. Należy włączyć hosting statycznej witryny internetowej na koncie magazynu, wskazać dokument indeksu (np. index.html) i dokument błędu, a następnie przesłać pliki statycznej witryny do specjalnego kontenera $web. Adres URL konta magazynu stanie się adresem URL witryny. Połączenie z usługą Azure CDN zapewnia obsługę niestandardowej domeny, HTTPS oraz globalne buforowanie na węzłach brzegowych, dzięki czemu witryna działa szybko dla użytkowników na całym świecie.

Blob Storage jest naturalnym miejscem przechowywania kopii zapasowych aplikacji i baz danych: zapewnia trwałość (11 dziewiątek trwałości w przypadku LRS, a jeszcze wyższą w przypadku GRS), wysoką dostępność i bardzo korzystny koszt przechowywania dużych ilości danych — szczególnie w warstwach Cool lub Archive. Wiele usług tworzenia kopii zapasowych platformy Azure (Azure Backup dla maszyn wirtualnych, automatyczne kopie zapasowe SQL Database) przechowuje dane w Blob Storage w tle. Można również pisać skrypty kopii zapasowych, które zrzucają bazę danych bezpośrednio do obiektu blob za pomocą interfejsu Azure CLI lub zestawu SDK w ramach zaplanowanego zadania.

Azure Data Lake Storage Gen2 (ADLS Gen2) jest zbudowany na bazie Blob Storage i rozszerzony o funkcję hierarchicznej przestrzeni nazw, która sprawia, że operacje na katalogach (zmiana nazwy, usuwanie) są atomowe i wydajne — ma to kluczowe znaczenie w przypadku obciążeń analityki dużych zbiorów danych. Włączenie hierarchicznej przestrzeni nazw na koncie magazynu przekształca je w ADLS Gen2, który natywnie integruje się z usługami Azure Synapse Analytics, Azure Databricks i HDInsight. Usługa obsługuje zarówno interfejs API Blob Storage, jak i protokół HDFS, dzięki czemu jest zgodna z istniejącymi narzędziami i strukturami opartymi na Hadoop.

Cennik Blob Storage obejmuje trzy składniki: koszt przechowywania — za GB miesięcznie, zależny od warstwy (około 0,018 USD/GB w warstwie hot, 0,01 USD/GB w warstwie cool i 0,001 USD/GB w warstwie archive w regionie East US). Koszt operacji — za każde 10 000 operacji odczytu i zapisu; w chłodniejszych warstwach jest wyższy. Koszt transferu danych — transfer przychodzący (przesyłanie) jest bezpłatny, natomiast za transfer wychodzący (pobieranie do Internetu) pobierana jest opłata. W przypadku dużych zbiorów danych wybór warstwy ma ogromny wpływ na całkowity koszt — przeniesienie rzadko używanych danych z warstwy Hot do Cool zwykle zmniejsza rachunek za przechowywanie o połowę, a warstwa Archive może obniżyć koszty o 95%.

Branże regulowane, takie jak finanse i opieka zdrowotna, wymagają przechowywania danych w formacie write-once, read-many (WORM) w celu zachowania zgodności z przepisami, takimi jak SEC Rule 17a-4 i HIPAA. Zasady niezmienności usługi Azure Blob Storage pozwalają zablokować obiekty blob, tak aby nie można było ich modyfikować ani usuwać przez określony okres przechowywania. Dostępne są dwa typy zasad: przechowywanie oparte na czasie (obiekt blob jest zablokowany do określonej daty) oraz blokada prawna (obiekt blob jest zablokowany bezterminowo, dopóki blokada nie zostanie usunięta). Po zablokowaniu obiektów blob nie mogą usunąć nawet administratorzy konta magazynu w okresie przechowywania.

Sprawdź swoje rozumienie zagadnień Microsoft Azure Fundamentals (AZ-900) omówionych w tej lekcji.

W tej lekcji nauczyli się Państwo, że: Blob Storage to magazyn obiektowy dla danych nieustrukturyzowanych, uporządkowany hierarchicznie jako konto magazynu, kontener i obiekt blob; trzy warstwy dostępu — hot, cool i archive — równoważą koszt przechowywania z kosztem dostępu dla różnych sposobów użycia; a zasady zarządzania cyklem życia automatycznie przenoszą obiekty blob do tańszych warstw lub usuwają je na podstawie ich wieku. Następnie omówimy Azure Files i Queue Storage, służące odpowiednio do udostępniania plików i rozdzielania komunikacji między komponentami.