FSx : serveur de fichiers Windows et Lustre

Amazon FSx est une famille de systèmes de fichiers entièrement gérés sur AWS, fondés sur des technologies conformes aux standards du secteur. Alors qu’EFS fournit un système de fichiers POSIX NFS pour Linux, FSx fournit des systèmes de fichiers conçus pour des usages spécifiques, qui nécessitent la prise en charge de protocoles natifs ou des caractéristiques de performance spécialisées. Les quatre variantes de FSx sont : FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP et FSx for OpenZFS. L’examen SAA-C03 évalue principalement Windows et Lustre.

Amazon FSx for Windows File Server est un système de fichiers SMB entièrement géré et natif Windows, fondé sur Windows Server. Il prend en charge toutes les fonctionnalités propres à Windows : protocole SMB (versions 2.0 à 3.1.1), intégration à Active Directory, espaces de noms Distributed File System (DFS), ACL Windows, NTFS, quotas utilisateurs et copies Shadow. Il remplace nativement dans AWS les serveurs de fichiers Windows sur site et est spécifiquement conçu pour les applications Windows nécessitant un accès SMB — notamment Microsoft SharePoint, SQL Server, les répertoires personnels et les applications .NET Windows personnalisées.

FSx for Windows s’intègre à AWS Managed Microsoft Active Directory ou à votre AD autogéré (sur site ou sur EC2). Tous les utilisateurs s’authentifient avec leurs identifiants AD, et vous gérez les autorisations sur les fichiers à l’aide des ACL Windows — exactement comme sur un serveur de fichiers Windows sur site. FSx for Windows constitue ainsi la cible la plus simple pour migrer directement des partages de fichiers Windows. Lors de la connexion à un AD autogéré, FSx nécessite une connectivité réseau vers les contrôleurs de domaine via Direct Connect ou VPN.

FSx for Windows propose deux types de déploiement : Single-AZ (un serveur de fichiers dans une seule AZ — SLA de disponibilité de 99,9 %, moins coûteux) et Multi-AZ (réplication synchrone vers un serveur de fichiers de secours dans une deuxième AZ, avec basculement automatique — SLA de disponibilité de 99,99 %). Multi-AZ nécessite deux sous-réseaux dans des AZ différentes et utilise une IP flottante qui migre automatiquement vers le serveur de secours lors du basculement. Pour les charges de travail Windows de production nécessitant une haute disponibilité, choisissez toujours Multi-AZ. Single-AZ convient aux environnements de développement et de test.

FSx for Windows prend en charge les sauvegardes quotidiennes automatiques (conservées de 0 à 90 jours) et les sauvegardes manuelles à la demande stockées dans S3. Les sauvegardes sont incrémentielles et cohérentes avec les applications, car FSx utilise VSS (Volume Shadow Copy Service). Les copies Shadow permettent d’accéder aux versions précédentes des fichiers — les utilisateurs finaux peuvent cliquer avec le bouton droit sur un fichier dans l’Explorateur Windows et restaurer une version précédente sans contacter le service informatique. Les copies Shadow sont stockées sur le système de fichiers lui-même et sont distinctes des sauvegardes FSx.

Amazon FSx for Lustre est un système de fichiers parallèle haute performance entièrement géré, fondé sur le système de fichiers open source Lustre. Lustre est le système de fichiers privilégié des supercalculateurs et des clusters HPC. FSx for Lustre offre une latence inférieure à la milliseconde, des centaines de GB/s de débit et des millions d’IOPS — ce qui le rend idéal pour l’entraînement de modèles de machine learning, la génomique, les simulations financières, l’analyse sismique et le rendu vidéo. Il s’intègre nativement à Amazon S3 en tant que référentiel de données.

FSx for Lustre peut être lié à un compartiment S3 en tant que référentiel de données. Les fichiers présents dans S3 apparaissent immédiatement dans l’espace de noms Lustre (chargement différé — les données réelles sont copiées dans Lustre lors du premier accès). Lorsque votre tâche HPC est terminée, vous pouvez exporter les résultats vers S3 avec une tâche de référentiel de données. Ce modèle vous permet de stocker efficacement de grands jeux de données dans S3, de créer un système de fichiers Lustre pour la durée d’une tâche de calcul, puis de le supprimer — vous ne payez alors que la durée du calcul.

FSx for Lustre propose deux principaux types de déploiement : Scratch (temporaire, sans réplication, débit par prix maximal — pour les tâches de traitement par lots de courte durée, lorsque la perte de données est acceptable puisque toutes les données proviennent de S3) et Persistent (répliqué au sein d’une AZ, conçu pour les charges de travail HPC de longue durée nécessitant de la résilience). Persistent 2 est la génération actuelle et offre un PerUnitStorageThroughput de 125, 250 ou 500 MB/s/TiB. Pour l’examen SAA-C03 : Scratch = tâches temporaires optimisées pour les coûts, Persistent = tâches de longue durée ou données sensibles.

FSx for Lustre se monte sur les instances Linux à l’aide du client Lustre. Amazon Linux 2 et Amazon Linux 2023 incluent le module du noyau Lustre. Après avoir créé les cibles de mount et configuré le groupe de sécurité pour autoriser le trafic du protocole Lustre (port 988 et plage de ports 1018 à 1023), vous effectuez le mount en utilisant le type de système de fichiers lustre. Le point de montage fournit une sémantique POSIX complète. Pour l’entraînement de modèles de ML, montez le système de fichiers sur toutes les instances d’entraînement : elles voient ainsi toutes le même jeu de données sans copie des données.

FSx for NetApp ONTAP fournit un accès multiprotocole (NFS, SMB et iSCSI) avec des fonctionnalités ONTAP avancées, notamment le provisionnement fin, la déduplication des données, la compression et la réplication SnapMirror — idéal pour les entreprises qui migrent leur stockage NetApp vers AWS sans revoir leur architecture. FSx for OpenZFS fournit un stockage accessible via NFS, avec les fonctions intégrées de vérification de l’intégrité des données, de compression et de snapshots de ZFS. Les deux solutions prennent en charge les clients Linux et Windows. Pour l’examen SAA-C03, ONTAP est la réponse lorsque le scénario mentionne un « stockage NetApp existant » ou un « accès multiprotocole aux fichiers ».

Principaux critères de sélection : EFS — NFS Linux/POSIX, capacité élastique, partage entre plusieurs instances, prise en charge de Lambda. FSx for Windows — clients Windows nécessitant SMB, intégration à Active Directory, ACL Windows et NTFS — la seule option pour les applications Windows qui exigent les fonctionnalités natives d’un serveur de fichiers Windows. FSx for Lustre — HPC, entraînement de modèles de ML, génomique et rendu vidéo — lorsque vous avez besoin de centaines de GB/s de débit et de millions d’IOPS avec une intégration à S3. L’examen SAA-C03 évalue ces distinctions au moyen de questions fondées sur des scénarios de charges de travail.

Évaluez votre compréhension des concepts AWS Solutions Architect (SAA-C03) abordés dans cette leçon.

Dans cette leçon, vous avez appris que FSx pour serveur de fichiers Windows fournit le protocole SMB natif avec une intégration à Active Directory pour les charges de travail Windows nécessitant NTFS, des ACL et des clichés instantanés, que FSx pour Lustre offre des millions d’IOPS et des centaines de GB/s pour le HPC et l’entraînement de modèles de ML, avec une intégration directe à un référentiel de données S3, et que les déploiements Scratch sont optimisés en termes de coûts pour les tâches temporaires, tandis que les déploiements Persistent conviennent aux charges de travail résilientes de longue durée. Nous allons maintenant découvrir la mise en cache avec ElastiCache.