FSx: Windows File Server og Lustre

Amazon FSx er en familie af fuldt administrerede filsystemer på AWS, der er bygget på branchestandardteknologier. Hvor EFS leverer et POSIX-baseret NFS-filsystem til Linux, leverer FSx formålsbyggede filsystemer til specifikke arbejdsbelastninger, der har brug for indbygget protokolunderstøttelse eller specialiserede ydeevneegenskaber. De fire FSx-varianter er: FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP og FSx for OpenZFS. SAA-C03-prøven tester primært Windows og Lustre.

Amazon FSx for Windows File Server er et fuldt administreret, Windows-kompatibelt SMB-filsystem, der er bygget på Windows Server. Det understøtter alle Windows-specifikke funktioner: SMB-protokollen (version 2.0-3.1.1), Active Directory-integration, Distributed File System (DFS)-navneområder, Windows-ACL'er, NTFS, brugerkvoter og skyggekopier. Det er AWS' indbyggede erstatning for lokale Windows-filservere og er specifikt designet til Windows-programmer, der kræver SMB-adgang — herunder Microsoft SharePoint, SQL Server, hjemmemapper og brugerdefinerede Windows .NET-programmer.

FSx for Windows integreres med AWS Managed Microsoft Active Directory eller dit selvadministrerede AD (lokalt eller på EC2). Alle brugere godkendes ved hjælp af deres AD-legitimationsoplysninger, og du administrerer filtilladelser ved hjælp af Windows-ACL'er — præcis som på en lokal Windows-filserver. Det gør FSx for Windows til det mest ligetil mål ved en lift-and-shift-migrering af Windows-fildelinger. Ved forbindelse til et selvadministreret AD kræver FSx netværksforbindelse til domænecontrollere via Direct Connect eller VPN.

FSx for Windows har to implementeringstyper: Single-AZ (én filserver i én AZ — 99,9 % tilgængeligheds-SLA, billigere) og Multi-AZ (synkron replikering til en standby-filserver i en anden AZ med automatisk failover — 99,99 % tilgængeligheds-SLA). Multi-AZ kræver to undernet i forskellige AZ'er og bruger en flydende IP-adresse, der automatisk flyttes til standby-serveren under et failover. Til Windows-arbejdsbelastninger i produktion, der kræver høj tilgængelighed, skal du altid vælge Multi-AZ. Single-AZ egner sig til udviklings- og testmiljøer.

FSx for Windows understøtter automatiske daglige sikkerhedskopier (opbevares i 0-90 dage) og manuelle sikkerhedskopier efter behov, der gemmes i S3. Sikkerhedskopierne er trinvise og konsistente med programmer, fordi FSx bruger VSS (Volume Shadow Copy Service). Skyggekopier giver adgang til tidligere versioner af filer — slutbrugere kan højreklikke på en fil i Windows Stifinder og gendanne en tidligere version uden at kontakte IT. Skyggekopier gemmes på selve filsystemet og er forskellige fra FSx-sikkerhedskopier.

Amazon FSx for Lustre er et fuldt administreret, højtydende parallelt filsystem baseret på open source-filsystemet Lustre. Lustre er det foretrukne filsystem til supercomputere og HPC-klynger. FSx for Lustre leverer latenstid på under et millisekund, hundredvis af GB/s i gennemløb og millioner af IOPS — hvilket gør det ideelt til maskinlæring, genomik, finansielle simuleringer, seismisk analyse og videogengivelse. Det integreres indbygget med Amazon S3 som underliggende datalager.

FSx for Lustre kan knyttes til en S3-bucket som datalager. Filer i S3 vises straks i Lustre-navneområdet (doven indlæsning — de faktiske data kopieres til Lustre ved første adgang). Når dit HPC-job er færdigt, kan du eksportere resultaterne tilbage til S3 med en dataopgavesamling. Dette mønster giver dig mulighed for at gemme store datasæt omkostningseffektivt i S3, starte et Lustre-filsystem for den tid, et beregningsjob varer, og derefter slette Lustre-systemet — så du kun betaler for beregningstiden.

FSx for Lustre har to primære implementeringstyper: Scratch (midlertidig, ikke-replikeret, højeste gennemløb pr. pris — til kortvarige batchjob, hvor datatab er acceptabelt, fordi alle data kommer fra S3) og Persistent (repliceret inden for en AZ, designet til langvarige HPC-arbejdsbelastninger, der kræver modstandsdygtighed). Persistent 2 er den aktuelle generation og tilbyder PerUnitStorageThroughput på 125, 250 eller 500 MB/s/TiB. Til SAA-C03-prøven: Scratch = omkostningsoptimerede, midlertidige job, Persistent = langvarige job eller følsomme data.

FSx for Lustre monteres på Linux-instanser ved hjælp af Lustre-klienten. Amazon Linux 2 og Amazon Linux 2023 indeholder kernelmodulet til Lustre. Når du har oprettet monteringsmål og konfigureret sikkerhedsgruppen til at tillade Lustre-protokoltrafik (port 988 og portområdet 1018-1023), monterer du ved hjælp af filsystemtypen lustre. Monteringspunktet giver fuld POSIX-semantik. Ved ML-træning skal du montere filsystemet på alle træningsinstanser — de kan alle se det samme datasæt uden at kopiere data.

FSx for NetApp ONTAP giver adgang via flere protokoller (NFS, SMB og iSCSI) med avancerede ONTAP-funktioner, herunder tynd klargøring, deduplikering af data, komprimering og SnapMirror-replikering — ideelt til virksomheder, der flytter NetApp-lagring til AWS uden at omdesigne arkitekturen. FSx for OpenZFS leverer NFS-tilgængelig lagring med ZFS' indbyggede kontrol af dataintegritet, komprimering og snapshots. Begge understøtter Linux- og Windows-klienter. Til SAA-C03-prøven er ONTAP svaret, når scenariet nævner »eksisterende NetApp-lagring« eller »filadgang via flere protokoller«.

Vigtige udvælgelseskriterier: EFS — Linux/POSIX NFS, elastisk kapacitet, deling mellem flere instanser og Lambda-understøttelse. FSx for Windows — Windows-klienter, der har brug for SMB, Active Directory-integration, Windows-ACL'er og NTFS — den eneste mulighed for Windows-programmer, der kræver indbyggede Windows-filserverfunktioner. FSx for Lustre — HPC, ML-træning, genomik og videogengivelse — når du har brug for hundredvis af GB/s i gennemløb og millioner af IOPS med S3-integration. SAA-C03-prøven tester disse forskelle gennem spørgsmål baseret på scenarier for arbejdsbelastninger.

I denne lektion lærte du, at FSx for Windows File Server leverer oprindelig SMB med Active Directory-integration til Windows-arbejdsbelastninger, der kræver NTFS, ACL'er og skyggekopier, at FSx for Lustre leverer millioner af IOPS og hundredvis af GB/s til HPC og ML-træning med direkte integration til S3 som datalager, og at Scratch-implementeringer er omkostningsoptimerede til midlertidige job, mens persistente implementeringer egner sig til langvarige og robuste arbejdsbelastninger. Næste gang udforsker vi caching med ElastiCache.