EFS: współdzielone przechowywanie plików dla systemu Linux

Amazon Elastic File System (EFS) to w pełni zarządzany, elastyczny i współdzielony system plików POSIX, który może być jednocześnie montowany przez tysiące instancji EC2, funkcji Lambda oraz kontenerów ECS/EKS. W przeciwieństwie do EBS (który jest dołączany do pojedynczej instancji) EFS udostępnia współdzielony system plików, w którym wszyscy podłączeni klienci widzą te same pliki w czasie rzeczywistym. Pojemność automatycznie rośnie i maleje — nie trzeba wcześniej przydzielać przestrzeni dyskowej. EFS doskonale sprawdza się w zarządzaniu treścią, współdzielonych repozytoriach kodu, katalogach domowych i analizie danych.

EFS oferuje dwie klasy pamięci masowej: EFS Standard (wiele AZ, najwyższa dostępność, opóźnienie poniżej jednej milisekundy) oraz EFS One Zone (pojedyncza AZ, koszt niższy o 47%, nieco mniejsza odporność). W ramach każdej warstwy dostępny jest również wariant Infrequent Access (IA), w którym dane są przechowywane przy koszcie o 92% niższym niż w klasie Standard, przeznaczony dla plików, do których nie uzyskuje się regularnego dostępu. Różnica w porównaniu z S3 jest taka, że EFS to pełny system plików POSIX, który aplikacje mogą montować — nie jest to magazyn obiektowy.

EFS oferuje dwa tryby wydajności: General Purpose (domyślny i zalecany dla większości obciążeń — najniższe opóźnienia, idealny do hostowania stron internetowych, systemów zarządzania treścią i katalogów domowych) oraz Max I/O (zaprojektowany z myślą o masowo równoległych obciążeniach z tysiącami jednoczesnych połączeń, kosztem nieco wyższych opóźnień; idealny do przetwarzania dużych zbiorów danych i multimediów). Tryb wydajności ustawia się podczas tworzenia systemu plików i nie można go zmienić po jego utworzeniu. Na egzaminie SAA-C03 wybierz Max I/O tylko wtedy, gdy wyraźnie potrzebujesz tysięcy równoległych połączeń.

EFS obsługuje trzy tryby przepustowości: Elastic (automatycznie zwiększa i zmniejsza przepustowość w zależności od obciążenia — zalecany w większości przypadków użycia, rozliczany za każdy przesłany GB), Bursting (przepustowość skaluje się wraz z rozmiarem pamięci masowej, a system gromadzi i zużywa kredyty burst, podobnie jak instancje serii T EC2 — podstawowa przepustowość jest bezpłatna) oraz Provisioned (określasz stałą przepustowość niezależnie od rozmiaru pamięci masowej — przydatne, gdy potrzebujesz stałej przepustowości większej niż zapewniana przez Bursting). Tryb Elastic jest nowoczesnym ustawieniem domyślnym i eliminuje konieczność planowania przepustowości.

Aby uzyskać dostęp do systemu plików EFS z instancji EC2, należy utworzyć cel montowania w każdej podsieci (AZ), w której działają instancje. W przypadku EFS Standard należy utworzyć cel montowania w każdym AZ w obrębie VPC — instancje EC2 łączą się z celem montowania w swoim AZ, aby uzyskać najniższe opóźnienia. Cele montowania mają grupy zabezpieczeń, które muszą zezwalać na ruch NFS (port TCP 2049) z grupy zabezpieczeń instancji. Bez tej reguły ruchu przychodzącego operacje montowania zakończą się przekroczeniem limitu czasu.

Zalecanym sposobem montowania EFS w EC2 jest użycie Amazon EFS Mount Helper (pakietu amazon-efs-utils), który obsługuje szyfrowanie TLS podczas przesyłania danych i automatyczne ponowne nawiązywanie połączenia. System plików montuje się za pomocą identyfikatora systemu plików, a nie adresu IP, dzięki czemu DNS automatycznie rozpoznaje cel montowania w najbliższym AZ. Aby montowanie było trwałe i przetrwało ponowne uruchomienie, należy dodać odpowiedni wpis do /etc/fstab z opcją _netdev, która zapewnia dostępność sieci przed rozpoczęciem montowania.

EFS Access Points to przeznaczone dla aplikacji punkty wejścia do systemu plików EFS, które wymuszają użycie określonego użytkownika POSIX, grupy i katalogu głównego dla wszystkich połączeń korzystających z danego punktu dostępu. Umożliwia to odizolowanie wielu aplikacji korzystających z tego samego systemu plików — aplikacja A montuje system za pośrednictwem punktu dostępu A i widzi tylko /data/app-a/, natomiast aplikacja B korzystająca z punktu dostępu B widzi tylko /data/app-b/. Punkty dostępu są zalecanym sposobem zapewniania funkcjom Lambda, zadaniom ECS i podom EKS izolowanego dostępu do współdzielonych systemów plików EFS.

Funkcja Intelligent-Tiering systemu EFS automatycznie przenosi pliki między klasami pamięci masowej Standard i Standard-IA (Infrequent Access) na podstawie wzorców dostępu. Należy skonfigurować zasadę cyklu życia — na przykład przenosić pliki do IA po 30 dniach bez dostępu. Gdy plik w IA zostanie ponownie użyty, jest automatycznie przenoszony z powrotem do Standard. Pobranie pliku z IA wiąże się z opłatą za każdy GB, ale przechowywanie kosztuje znacznie mniej. Działa to podobnie jak S3 Intelligent-Tiering i eliminuje konieczność ręcznego zarządzania rozmieszczeniem plików.

Funkcje Lambda mogą montować systemy plików EFS, aby współdzielić duże pliki modeli, dane trwałe lub konfigurację między wywołaniami — omijając limit katalogu /tmp wynoszący od 512 MB do 10 GB. Zadania ECS i EKS montują EFS za pomocą trwałych żądań woluminu, korzystając ze EFS CSI driver. Funkcja Lambda lub kontener musi znajdować się w VPC, w którym istnieje cel montowania, a grupa zabezpieczeń EFS musi zezwalać na przychodzący ruch NFS z grupy zabezpieczeń VPC funkcji Lambda lub kontenera. Połączenie EFS + Lambda jest często stosowanym wzorcem do współdzielenia wytrenowanych modeli ML między instancjami funkcji.

Na egzaminie SAA-C03 często trzeba wybrać między EFS i EBS. EFS: współdzielony system plików POSIX, możliwość jednoczesnego montowania w wielu instancjach EC2, elastyczna pojemność, tylko Linux (NFS), dostęp z Lambda i kontenerów, wyższy koszt za GB. EBS: urządzenie blokowe, podłączane do jednej instancji EC2 (z wyjątkiem io1/io2 Multi-Attach), stały aprowizowany rozmiar, obsługa systemów Linux i Windows, brak natywnego dostępu z Lambda, niższy koszt za GB. Jeśli scenariusz mówi, że „wiele instancji musi współdzielić te same pliki”, odpowiedzią jest EFS.

EFS obsługuje szyfrowanie danych w spoczynku (włączane podczas tworzenia systemu plików za pomocą klucza KMS — po utworzeniu nie można go zmienić) oraz szyfrowanie danych podczas przesyłania (szyfrowanie TLS przy użyciu EFS Mount Helper z opcją tls). AWS zaleca włączenie obu mechanizmów. Szyfrowanie podczas przesyłania można wymusić za pomocą resource-based policy EFS, która odrzuca montowanie bez TLS, wymagając warunków elasticfilesystem:ClientRootAccess i elasticfilesystem:ClientWrite.

W tej lekcji poznali Państwo następujące zagadnienia: EFS to współdzielony system plików POSIX, który można jednocześnie montować w tysiącach instancji i funkcji Lambda, a jego pojemność skaluje się elastycznie; Access Points zapewniają izolację poszczególnych aplikacji, wymuszając użycie określonego użytkownika POSIX i katalogu głównego; natomiast Intelligent-Tiering automatycznie przenosi rzadko używane pliki do tańszej klasy pamięci masowej IA. W następnej części omówimy FSx for Windows File Server i Lustre przeznaczone do wyspecjalizowanych obciążeń.