EFS: Gemeinsamer Dateispeicher für Linux

Amazon Elastic File System (EFS) ist ein vollständig verwaltetes, elastisches POSIX-Dateisystem, das gleichzeitig von Tausenden EC2-Instances, Lambda-Funktionen und ECS-/EKS-Containern eingebunden werden kann. Anders als EBS, das an eine einzelne Instance angehängt wird, stellt EFS ein gemeinsam genutztes Dateisystem bereit, in dem alle verbundenen Clients in Echtzeit dieselben Dateien sehen. Die Kapazität wächst und schrumpft automatisch – Sie müssen keinen Speicher im Voraus bereitstellen. EFS eignet sich ideal für Content-Management, gemeinsam genutzte Code-Repositories, Home-Verzeichnisse und Datenanalysen.

EFS bietet zwei Speicherklassen: EFS Standard (Multi-AZ, höchste Verfügbarkeit, Latenz im Submillisekundenbereich) und EFS One Zone (einzelne AZ, 47 % niedrigere Kosten, etwas weniger ausfallsicher). Innerhalb jeder Stufe gibt es außerdem eine Variante für Infrequent Access (IA), in der Daten für Dateien, auf die nicht regelmäßig zugegriffen wird, zu 92 % niedrigeren Kosten als bei Standard gespeichert werden. Der Unterschied zu S3: EFS ist ein vollständiges POSIX-Dateisystem, das Ihre Anwendungen einbinden können – es ist kein Objektspeicher.

EFS verfügt über zwei Performance-Modi: General Purpose (Standard, für die meisten Workloads empfohlen – niedrigste Latenz, ideal für Webbereitstellung, Content-Management und Home-Verzeichnisse) und Max I/O (für massiv parallele Workloads mit Tausenden gleichzeitiger Verbindungen ausgelegt, auf Kosten einer etwas höheren Latenz; ideal für Big Data und Medienverarbeitung). Der Performance-Modus wird bei der Erstellung festgelegt und kann nach der Erstellung des Dateisystems nicht geändert werden. Wählen Sie in der SAA-C03-Prüfung Max I/O nur dann, wenn Sie ausdrücklich Tausende parallele Verbindungen benötigen.

EFS unterstützt drei Durchsatzmodi: Elastic (skaliert den Durchsatz automatisch entsprechend dem Workload nach oben und unten – für die meisten Anwendungsfälle empfohlen, Abrechnung pro übertragenem GB), Bursting (der Durchsatz skaliert mit der Speichergröße; Burst-Credits werden wie bei EC2-T-Instances verdient und verbraucht – kostenloser Basisdurchsatz) und Provisioned (Sie legen einen festen Durchsatz unabhängig von der Speichergröße fest – nützlich, wenn Sie einen konstanten Durchsatz benötigen, der über den von Bursting bereitgestellten Durchsatz hinausgeht). Der Elastic-Modus ist heute der Standard und macht eine Planung der Durchsatzkapazität überflüssig.

Um von einer EC2-Instance aus auf ein EFS-Dateisystem zuzugreifen, erstellen Sie in jedem Subnetz (AZ), in dem Ihre Instances ausgeführt werden, ein mount target. Für EFS Standard sollten Sie in jeder AZ Ihrer VPC ein Mount Target erstellen – EC2-Instances verbinden sich mit dem Mount Target in ihrer eigenen AZ, um die niedrigste Latenz zu erreichen. Mount Targets verfügen über Security Groups, die NFS-Datenverkehr (TCP-Port 2049) von der Security Group der Instance zulassen müssen. Ohne diese eingehende Regel laufen Mount-Vorgänge in einen Timeout.

Die empfohlene Methode zum Mounten von EFS unter EC2 ist die Verwendung des Amazon EFS Mount Helper (Paket amazon-efs-utils), das TLS-Verschlüsselung während der Übertragung und eine automatische Wiederverbindung unterstützt. Sie mounten anhand der Dateisystem-ID statt der IP-Adresse, damit DNS automatisch das Mount Target in der nächstgelegenen AZ auflöst. Fügen Sie für persistente Mounts, die Neustarts überstehen, den Mount-Eintrag mit der Option _netdev zu /etc/fstab hinzu. Dadurch wird sichergestellt, dass das Netzwerk vor dem Mounten verfügbar ist.

EFS Access Points sind anwendungsspezifische Einstiegspunkte in ein EFS-Dateisystem, die für alle Verbindungen über diesen Access Point einen bestimmten POSIX-Benutzer, eine bestimmte Gruppe und ein bestimmtes Stammverzeichnis erzwingen. Dadurch können mehrere Anwendungen auf demselben Dateisystem voneinander isoliert werden: Anwendung A mountet über Access Point A und sieht nur /data/app-a/, während Anwendung B über Access Point B nur /data/app-b/ sieht. Access Points sind die empfohlene Methode, Lambda-Funktionen, ECS-Tasks und EKS-Pods isolierten Zugriff auf gemeinsam genutzte EFS-Dateisysteme zu gewähren.

EFS Intelligent-Tiering verschiebt Dateien anhand ihres Zugriffsmusters automatisch zwischen den Speicherklassen Standard und Standard-IA (Infrequent Access). Sie konfigurieren eine Lifecycle-Richtlinie, um Dateien beispielsweise nach 30 Tagen ohne Zugriff nach IA zu verschieben. Wird erneut auf eine Datei in IA zugegriffen, wird sie automatisch zurück nach Standard verschoben. Für den Abruf aus IA fällt eine Abrufgebühr pro GB an, die Speicherung ist jedoch deutlich günstiger. Dies ähnelt S3 Intelligent-Tiering und macht die manuelle Verwaltung der Dateiplatzierung überflüssig.

Lambda-Funktionen können EFS-Dateisysteme mounten, um große Modelldateien, persistente Daten oder Konfigurationen über mehrere Aufrufe hinweg gemeinsam zu nutzen – und so die Begrenzung von 512 MB bis 10 GB für /tmp zu überwinden. ECS- und EKS-Tasks mounten EFS über Persistent Volume Claims mithilfe des EFS CSI driver. Die Lambda-Funktion oder der Container muss sich in einer VPC mit einem Mount Target befinden, und die EFS-Security-Group muss eingehenden NFS-Datenverkehr von der VPC-Security-Group von Lambda beziehungsweise des Containers zulassen. EFS zusammen mit Lambda ist ein gängiges Muster, um trainierte ML-Modelle über mehrere Funktionsinstanzen hinweg gemeinsam zu nutzen.

In der SAA-C03-Prüfung werden Sie häufig aufgefordert, zwischen EFS und EBS zu wählen. EFS: gemeinsam genutztes POSIX-Dateisystem, gleichzeitig auf mehreren EC2-Instances mountbar, elastische Kapazität, nur Linux (NFS), Zugriff durch Lambda und Container möglich, höhere Kosten pro GB. EBS: Blockgerät, wird an eine einzelne EC2-Instance angehängt (außer io1/io2 Multi-Attach), fest bereitgestellte Größe, Linux und Windows, nicht nativ durch Lambda zugänglich, geringere Kosten pro GB. Wenn im Szenario steht, dass „mehrere Instances dieselben Dateien gemeinsam nutzen müssen“, lautet die Antwort EFS.

EFS unterstützt Verschlüsselung im Ruhezustand (wird bei der Erstellung des Dateisystems mithilfe eines KMS-Schlüssels aktiviert und kann nach der Erstellung nicht geändert werden) sowie Verschlüsselung während der Übertragung (TLS-Verschlüsselung bei Verwendung des EFS Mount Helper mit der Option tls). AWS empfiehlt, beide Optionen zu aktivieren. Sie können die Verschlüsselung während der Übertragung mithilfe einer ressourcenbasierten Richtlinie für EFS erzwingen, die Mounts ohne TLS ablehnt, indem sie die Bedingungen elasticfilesystem:ClientRootAccess und elasticfilesystem:ClientWrite voraussetzt.

Testen Sie Ihr Verständnis der AWS-Solutions-Architect-Konzepte (SAA-C03) aus dieser Lektion.

In dieser Lektion haben Sie gelernt: EFS ist ein gemeinsam genutztes POSIX-Dateisystem, das gleichzeitig auf Tausenden von Instances und Lambda-Funktionen gemountet werden kann und über elastische Kapazität verfügt. Access Points ermöglichen die Isolation einzelner Anwendungen mit einem erzwungenen POSIX-Benutzer und Stammverzeichnis, und Intelligent-Tiering verschiebt selten aufgerufene Dateien automatisch in eine kostengünstigere IA-Speicherklasse. Als Nächstes sehen wir uns FSx for Windows File Server und Lustre für spezialisierte Workloads an.