FSx: Windows File Server i Lustre

Amazon FSx to rodzina w pełni zarządzanych systemów plików w AWS, opartych na standardowych technologiach branżowych. Podczas gdy EFS zapewnia system plików POSIX NFS dla systemu Linux, FSx oferuje wyspecjalizowane systemy plików przeznaczone do konkretnych obciążeń wymagających natywnej obsługi protokołów lub określonych parametrów wydajności. Dostępne są cztery warianty FSx: FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP oraz FSx for OpenZFS. Na egzaminie SAA-C03 sprawdzana jest przede wszystkim znajomość Windows i Lustre.

Amazon FSx for Windows File Server to w pełni zarządzany, natywny dla systemu Windows system plików SMB, oparty na Windows Server. Obsługuje wszystkie funkcje charakterystyczne dla systemu Windows: protokół SMB (wersje 2.0–3.1.1), integrację z Active Directory, przestrzenie nazw Distributed File System (DFS), listy ACL systemu Windows, NTFS, limity użytkowników i kopie w tle. Jest natywnym zamiennikiem lokalnych serwerów plików Windows w AWS i został zaprojektowany specjalnie dla aplikacji Windows wymagających dostępu SMB — między innymi Microsoft SharePoint, SQL Server, katalogów domowych i niestandardowych aplikacji Windows .NET.

FSx for Windows integruje się z AWS Managed Microsoft Active Directory lub samodzielnie zarządzaną usługą AD (lokalną albo działającą w EC2). Wszyscy użytkownicy uwierzytelniają się za pomocą danych uwierzytelniających AD, a uprawnieniami do plików zarządza się przy użyciu list ACL systemu Windows — dokładnie tak jak w lokalnym serwerze plików Windows. Dzięki temu FSx for Windows jest najprostszym celem migracji typu lift-and-shift dla udziałów plikowych Windows. W przypadku połączenia z samodzielnie zarządzaną usługą AD FSx wymaga łączności sieciowej z kontrolerami domeny za pośrednictwem Direct Connect lub VPN.

FSx for Windows oferuje dwa typy wdrożeń: Single-AZ (jeden serwer plików w jednym AZ — umowa SLA gwarantująca dostępność na poziomie 99,9%, niższy koszt) oraz Multi-AZ (synchroniczna replikacja do zapasowego serwera plików w drugim AZ z automatycznym przełączaniem awaryjnym — umowa SLA gwarantująca dostępność na poziomie 99,99%). Multi-AZ wymaga dwóch podsieci w różnych AZ i korzysta z pływającego adresu IP, który podczas przełączania awaryjnego automatycznie migruje do serwera zapasowego. W przypadku produkcyjnych obciążeń Windows wymagających wysokiej dostępności należy zawsze wybrać Multi-AZ. Single-AZ nadaje się do środowisk deweloperskich i testowych.

FSx for Windows obsługuje automatyczne codzienne kopie zapasowe (przechowywane przez 0–90 dni) oraz tworzone na żądanie ręczne kopie zapasowe przechowywane w S3. Kopie zapasowe są przyrostowe i spójne aplikacyjnie, ponieważ FSx korzysta z VSS (Volume Shadow Copy Service). Kopie w tle zapewniają dostęp do poprzednich wersji plików — użytkownicy końcowi mogą kliknąć plik prawym przyciskiem myszy w Eksploratorze Windows i przywrócić jego wcześniejszą wersję bez kontaktowania się z działem IT. Kopie w tle są przechowywane w samym systemie plików i różnią się od kopii zapasowych FSx.

Amazon FSx for Lustre to w pełni zarządzany, wysokowydajny równoległy system plików oparty na systemie plików Lustre typu open source. Lustre jest systemem plików wybieranym dla superkomputerów i klastrów HPC. FSx for Lustre zapewnia opóźnienia poniżej jednej milisekundy, przepustowość sięgającą setek GB/s oraz miliony operacji I/O na sekundę, dzięki czemu doskonale nadaje się do trenowania modeli uczenia maszynowego, badań genomu, symulacji finansowych, analiz sejsmicznych i renderowania wideo. Natywnie integruje się z Amazon S3 jako repozytorium danych zaplecza.

FSx for Lustre można połączyć z bucketem S3 jako repozytorium danych. Pliki w S3 są natychmiast widoczne w przestrzeni nazw Lustre (ładowanie leniwe — rzeczywiste dane są kopiowane do Lustre przy pierwszym dostępie). Po zakończeniu zadania HPC można wyeksportować wyniki z powrotem do S3 za pomocą zadania repozytorium danych. Ten wzorzec pozwala ekonomicznie przechowywać duże zbiory danych w S3, uruchamiać system plików Lustre na czas zadania obliczeniowego, a następnie go usuwać — płacąc tylko za czas obliczeń.

FSx for Lustre oferuje dwa główne typy wdrożeń: Scratch (tymczasowy, bez replikacji, najwyższa przepustowość w przeliczeniu na cenę — przeznaczony do krótkotrwałych zadań wsadowych, w których utrata danych jest dopuszczalna, ponieważ wszystkie dane pochodzą z S3) oraz Persistent (replikowany w obrębie AZ, przeznaczony do długotrwałych obciążeń HPC wymagających odporności). Persistent 2 to obecna generacja, oferująca PerUnitStorageThroughput o wartości 125, 250 lub 500 MB/s/TiB. Na egzaminie SAA-C03: Scratch = tymczasowe zadania zoptymalizowane pod kątem kosztów, Persistent = długotrwałe zadania lub wrażliwe dane.

FSx for Lustre montuje się w instancjach Linux za pomocą klienta Lustre. Amazon Linux 2 i Amazon Linux 2023 zawierają moduł jądra Lustre. Po utworzeniu celów montowania i skonfigurowaniu grupy zabezpieczeń tak, aby zezwalała na ruch protokołu Lustre (port 988 oraz zakres portów 1018–1023), system plików montuje się z użyciem typu systemu plików lustre. Punkt montowania zapewnia pełną semantykę POSIX. W przypadku trenowania modeli ML należy zamontować system plików we wszystkich instancjach treningowych — wszystkie będą widzieć ten sam zbiór danych bez kopiowania danych.

FSx for NetApp ONTAP zapewnia dostęp za pomocą wielu protokołów (NFS, SMB i iSCSI) oraz zaawansowane funkcje ONTAP, w tym thin provisioning, deduplikację danych, kompresję i replikację SnapMirror — idealne rozwiązanie dla przedsiębiorstw migrujących pamięć masową NetApp do AWS bez przeprojektowywania architektury. FSx for OpenZFS zapewnia pamięć masową dostępną przez NFS, z wbudowanymi w ZFS mechanizmami sprawdzania integralności danych, kompresją i migawkami. Oba rozwiązania obsługują klientów Linux i Windows. Na egzaminie SAA-C03 ONTAP jest właściwą odpowiedzią, gdy scenariusz wspomina o „istniejącej pamięci masowej NetApp” lub „dostępie do plików za pomocą wielu protokołów”.

Najważniejsze kryteria wyboru: EFS — Linux/POSIX NFS, elastyczna pojemność, współdzielenie między wieloma instancjami, obsługa Lambda. FSx for Windows — klienci Windows wymagający SMB, integracji z Active Directory, list ACL systemu Windows i NTFS — jedyna opcja dla aplikacji Windows wymagających natywnych funkcji serwera plików Windows. FSx for Lustre — HPC, trenowanie modeli ML, badania genomu i renderowanie wideo — gdy potrzebna jest przepustowość rzędu setek GB/s i milionów operacji I/O na sekundę wraz z integracją z S3. Na egzaminie SAA-C03 te różnice są sprawdzane za pomocą pytań opisujących scenariusze obciążeń.

Sprawdź swoją wiedzę na temat zagadnień AWS Solutions Architect (SAA-C03) z tej lekcji.

W tej lekcji nauczyłeś się, że: FSx for Windows File Server zapewnia natywną obsługę SMB z integracją z Active Directory dla obciążeń systemu Windows wymagających NTFS, list kontroli dostępu (ACL) i kopii w tle; FSx for Lustre zapewnia miliony operacji wejścia/wyjścia na sekundę (IOPS) i setki GB/s na potrzeby HPC oraz trenowania modeli ML, z bezpośrednią integracją z repozytorium danych S3; a wdrożenia Scratch są zoptymalizowane kosztowo pod kątem zadań tymczasowych, podczas gdy wdrożenia Persistent są odpowiednie dla długotrwałych, odpornych na awarie obciążeń. Następnie omówimy buforowanie za pomocą ElastiCache.