FSx: Windows File Server en Lustre

Amazon FSx is een familie van volledig beheerde bestandssystemen op AWS die zijn gebaseerd op industriestandaardtechnologieën. Terwijl EFS een POSIX-NFS-bestandssysteem voor Linux biedt, levert FSx doelgerichte bestandssystemen voor specifieke workloads die native protocolondersteuning of gespecialiseerde prestatiekenmerken nodig hebben. De vier FSx-varianten zijn: FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP en FSx for OpenZFS. Het SAA-C03-examen toetst voornamelijk Windows en Lustre.

Amazon FSx for Windows File Server is een volledig beheerd, Windows-eigen SMB-bestandssysteem dat is gebaseerd op Windows Server. Het ondersteunt alle Windows-specifieke functies: SMB-protocol (versies 2.0-3.1.1), integratie met Active Directory, naamruimten van het Distributed File System (DFS), Windows-ACL's, NTFS, gebruikersquota en schaduwkopieën. Het is de AWS-eigen vervanging voor Windows-bestandsservers op locatie en is specifiek ontworpen voor Windows-toepassingen die SMB-toegang nodig hebben — waaronder Microsoft SharePoint, SQL Server, basismappen en aangepaste Windows-.NET-toepassingen.

FSx for Windows kan worden geïntegreerd met AWS Managed Microsoft Active Directory of uw zelf beheerde AD (op locatie of op EC2). Alle gebruikers verifiëren zich met hun AD-inloggegevens en u beheert bestandsmachtigingen met Windows-ACL's — precies zoals bij een Windows-bestandsserver op locatie. Daardoor is FSx for Windows het eenvoudigste migratiedoel voor een lift-and-shift van Windows-bestandsshares. Bij verbinding met een zelf beheerde AD vereist FSx netwerkconnectiviteit met domeincontrollers via Direct Connect of VPN.

FSx for Windows heeft twee implementatietypen: Single-AZ (één bestandsserver in één AZ — 99,9% beschikbaarheids-SLA, goedkoper) en Multi-AZ (synchrone replicatie naar een stand-by-bestandsserver in een tweede AZ met automatische failover — 99,99% beschikbaarheids-SLA). Multi-AZ vereist twee subnetten in verschillende AZ's en gebruikt een zwevend IP-adres dat tijdens een failover automatisch naar de stand-byserver verhuist. Kies voor productie-workloads op Windows waarvoor hoge beschikbaarheid nodig is altijd Multi-AZ. Single-AZ is geschikt voor ontwikkel- en testomgevingen.

FSx for Windows ondersteunt automatische dagelijkse back-ups (0-90 dagen bewaard) en handmatige back-ups op aanvraag die in S3 worden opgeslagen. Back-ups zijn incrementeel en toepassingsconsistent, omdat FSx VSS (Volume Shadow Copy Service) gebruikt. Schaduwkopieën bieden toegang tot eerdere bestandsversies — eindgebruikers kunnen in Windows Verkenner met de rechtermuisknop op een bestand klikken en een eerdere versie herstellen zonder contact op te nemen met IT. Schaduwkopieën worden op het bestandssysteem zelf opgeslagen en staan los van FSx-back-ups.

Amazon FSx for Lustre is een volledig beheerd, uiterst performant parallel bestandssysteem dat is gebaseerd op het opensourcebestandssysteem Lustre. Lustre is het bestandssysteem bij uitstek voor supercomputers en HPC-clusters. FSx for Lustre biedt een latentie van minder dan een milliseconde, een doorvoer van honderden GB/s en miljoenen IOPS — ideaal voor het trainen van machinelearningmodellen, genomica, financiële simulaties, seismische analyses en videorendering. Het integreert native met Amazon S3 als gegevensopslagplaats.

FSx for Lustre kan als gegevensopslagplaats worden gekoppeld aan een S3-bucket. Bestanden in S3 verschijnen onmiddellijk in de Lustre-naamruimte (lazy loading — de daadwerkelijke gegevens worden bij de eerste toegang naar Lustre gekopieerd). Wanneer uw HPC-taak is voltooid, kunt u de resultaten met een gegevensopslagplaatstaken terug exporteren naar S3. Met dit patroon kunt u grote gegevenssets kosteneffectief in S3 opslaan, een Lustre-bestandssysteem voor de duur van een rekentaak starten en het Lustre-systeem daarna verwijderen — u betaalt alleen voor de rekentijd.

FSx for Lustre heeft twee belangrijke implementatietypen: Scratch (tijdelijk, zonder replicatie, hoogste doorvoer per prijs — voor kortlopende batchtaken waarbij gegevensverlies acceptabel is omdat alle gegevens uit S3 komen) en Persistent (gerepliceerd binnen een AZ, ontworpen voor langlopende HPC-workloads die veerkracht nodig hebben). Persistent 2 is de huidige generatie en biedt PerUnitStorageThroughput van 125, 250 of 500 MB/s/TiB. Voor het SAA-C03-examen geldt: Scratch = kosten-geoptimaliseerde tijdelijke taken, Persistent = langlopende taken of gevoelige gegevens.

FSx for Lustre wordt op Linux-exemplaren gemount met de Lustre-client. Amazon Linux 2 en Amazon Linux 2023 bevatten de Lustre-kernelmodule. Nadat u mountdoelen hebt gemaakt en de beveiligingsgroep hebt geconfigureerd om Lustre-protocolverkeer toe te staan (poort 988 en poortbereik 1018-1023), mount u het bestandssysteemtype lustre. Het mountpunt biedt volledige POSIX-semantiek. Mount voor ML-training het bestandssysteem op alle trainingsinstanties — ze zien allemaal dezelfde gegevensset zonder gegevens te kopiëren.

FSx for NetApp ONTAP biedt toegang via meerdere protocollen (NFS, SMB en iSCSI) met geavanceerde ONTAP-functies, waaronder thin provisioning, gegevensdeduplicatie, compressie en SnapMirror-replicatie — ideaal voor ondernemingen die NetApp-opslag naar AWS migreren zonder de architectuur opnieuw te ontwerpen. FSx for OpenZFS biedt opslag die via NFS toegankelijk is, met de ingebouwde controle van gegevensintegriteit, compressie en momentopnamen van ZFS. Beide ondersteunen Linux- en Windows-clients. Voor het SAA-C03-examen is ONTAP het antwoord wanneer het scenario 'bestaande NetApp-opslag' of 'bestandstoegang via meerdere protocollen' noemt.

Belangrijke selectiecriteria: EFS — Linux/POSIX NFS, elastische capaciteit, delen tussen meerdere exemplaren en Lambda-ondersteuning. FSx for Windows — Windows-clients die SMB, integratie met Active Directory, Windows-ACL's en NTFS nodig hebben — de enige optie voor Windows-toepassingen die native functies van Windows-bestandsservers vereisen. FSx for Lustre — HPC, het trainen van ML-modellen, genomica en videorendering — wanneer u honderden GB/s aan doorvoer en miljoenen IOPS met S3-integratie nodig hebt. Het SAA-C03-examen toetst deze verschillen aan de hand van vragen over workloadscenario's.

In deze les heb je geleerd dat FSx for Windows File Server native SMB biedt met integratie van Active Directory voor Windows-workloads die NTFS, ACL's en schaduwkopieën vereisen, dat FSx for Lustre miljoenen IOPS en honderden GB/s levert voor HPC en ML-training, met directe integratie van S3 als gegevensopslagplaats, en dat Scratch deployments kosten geoptimaliseerd zijn voor tijdelijke taken, terwijl Persistent deployments geschikt zijn voor langdurig draaiende, veerkrachtige workloads. Hierna verkennen we caching met ElastiCache.