FSx: файловый сервер Windows и Lustre

Amazon FSx — это семейство полностью управляемых файловых систем в AWS, созданных на основе отраслевых стандартных технологий. Если EFS предоставляет файловую систему POSIX NFS для Linux, то FSx предлагает файловые системы специального назначения для конкретных рабочих нагрузок, которым нужна поддержка собственных протоколов или особые характеристики производительности. В семейство FSx входят четыре варианта: FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP и FSx for OpenZFS. На экзамене SAA-C03 в основном проверяются Windows и Lustre.

Amazon FSx for Windows File Server — это полностью управляемая файловая система SMB, встроенная в Windows и работающая на Windows Server. Она поддерживает все специфичные для Windows возможности: протокол SMB (версии 2.0–3.1.1), интеграцию с Active Directory, пространства имён Distributed File System (DFS), списки управления доступом Windows, NTFS, квоты пользователей и теневые копии. Это собственная облачная замена AWS файловым серверам Windows в локальной инфраструктуре; она специально предназначена для приложений Windows, которым нужен доступ по SMB, включая Microsoft SharePoint, SQL Server, домашние каталоги и пользовательские приложения Windows .NET.

FSx for Windows интегрируется с AWS Managed Microsoft Active Directory или Вашим самостоятельно управляемым AD (в локальной инфраструктуре или в EC2). Все пользователи проходят аутентификацию с использованием своих учётных данных AD, а разрешениями на доступ к файлам Вы управляете с помощью списков управления доступом Windows — точно так же, как на локальном файловом сервере Windows. Поэтому FSx for Windows является наиболее простым вариантом переноса общих файловых ресурсов Windows в AWS без изменений. При подключении к самостоятельно управляемому AD FSx требует сетевого соединения с контроллерами домена через Direct Connect или VPN.

У FSx for Windows есть два типа развертывания: Single-AZ (один файловый сервер в одной AZ — SLA доступности 99,9%, более низкая стоимость) и Multi-AZ (синхронная репликация на резервный файловый сервер во второй AZ с автоматическим переключением — SLA доступности 99,99%). Для Multi-AZ требуются две подсети в разных AZ; используется плавающий IP-адрес, который при переключении автоматически переносится на резервный сервер. Для рабочих нагрузок Windows в продуктивной среде, требующих высокой доступности, всегда выбирайте Multi-AZ. Single-AZ подходит для сред разработки и тестирования.

FSx for Windows поддерживает автоматические ежедневные резервные копии (хранятся от 0 до 90 дней) и ручные резервные копии по требованию, которые сохраняются в S3. Резервные копии являются инкрементальными и согласованными с приложениями, поскольку FSx использует VSS (Volume Shadow Copy Service). Теневые копии предоставляют доступ к предыдущим версиям файлов: конечные пользователи могут щёлкнуть файл правой кнопкой мыши в проводнике Windows и восстановить предыдущую версию, не обращаясь в IT-службу. Теневые копии хранятся в самой файловой системе и отличаются от резервных копий FSx.

Amazon FSx for Lustre — это полностью управляемая высокопроизводительная параллельная файловая система на основе файловой системы с открытым исходным кодом Lustre. Lustre — предпочтительная файловая система для суперкомпьютеров и кластеров HPC. FSx for Lustre обеспечивает задержку менее миллисекунды, пропускную способность в сотни GB/s и миллионы IOPS, что делает её идеальной для обучения машинному обучению, геномики, финансового моделирования, сейсмического анализа и рендеринга видео. Она нативно интегрируется с Amazon S3 как с репозиторием исходных данных.

FSx for Lustre можно связать с корзиной S3 в качестве репозитория данных. Файлы в S3 сразу появляются в пространстве имён Lustre (отложенная загрузка — фактические данные копируются в Lustre при первом обращении). После завершения задания HPC можно экспортировать результаты обратно в S3 с помощью задачи репозитория данных. Этот подход позволяет экономично хранить большие наборы данных в S3, создавать файловую систему Lustre на время вычислительного задания, а затем удалять её, оплачивая только время вычислений.

У FSx for Lustre есть два основных типа развертывания: Scratch (временное, без репликации, максимальная пропускная способность при минимальной цене — для коротких пакетных заданий, в которых потеря данных допустима, поскольку все данные поступают из S3) и Persistent (репликация внутри AZ, предназначено для длительных рабочих нагрузок HPC, которым нужна устойчивость). Persistent 2 — текущее поколение, предлагающее PerUnitStorageThroughput 125, 250 или 500 MB/s/TiB. Для экзамена SAA-C03: Scratch = оптимизированные по стоимости временные задания, Persistent = длительные задания или важные данные.

FSx for Lustre подключается к экземплярам Linux с помощью клиента Lustre. Amazon Linux 2 и Amazon Linux 2023 включают модуль ядра Lustre. После создания точек подключения и настройки группы безопасности для разрешения трафика протокола Lustre (порт 988 и диапазон портов 1018–1023) выполните подключение, используя тип файловой системы lustre. Точка подключения предоставляет полную семантику POSIX. Для обучения ML подключите файловую систему ко всем обучающим экземплярам — каждый из них будет видеть один и тот же набор данных без копирования.

FSx for NetApp ONTAP предоставляет доступ по нескольким протоколам (NFS, SMB и iSCSI) и расширенные возможности ONTAP, включая тонкое выделение ресурсов, дедупликацию данных, сжатие и репликацию SnapMirror — идеальный вариант для компаний, переносящих хранилища NetApp в AWS без изменения архитектуры. FSx for OpenZFS предоставляет хранилище с доступом по NFS и встроенные в ZFS проверки целостности данных, сжатие и моментальные снимки. Оба варианта поддерживают клиенты Linux и Windows. На экзамене SAA-C03 ONTAP следует выбирать, когда в условии упоминаются «существующее хранилище NetApp» или «доступ к файлам по нескольким протоколам».

Ключевые критерии выбора: EFS — Linux/POSIX NFS, эластичная ёмкость, совместное использование несколькими экземплярами, поддержка Lambda. FSx for Windows — клиенты Windows, которым нужны SMB, интеграция с Active Directory, списки управления доступом Windows и NTFS; это единственный вариант для приложений Windows, которым требуются собственные возможности файлового сервера Windows. FSx for Lustre — HPC, обучение ML, геномика и рендеринг видео, когда необходимы пропускная способность в сотни GB/s и миллионы IOPS с интеграцией S3. На экзамене SAA-C03 эти различия проверяются с помощью вопросов на основе сценариев рабочих нагрузок.

Проверьте своё понимание концепций AWS Solutions Architect (SAA-C03) из этого урока.

В этом уроке Вы узнали, что FSx для файлового сервера Windows предоставляет нативную поддержку SMB с интеграцией Active Directory для рабочих нагрузок Windows, которым требуются NTFS, ACL и теневые копии; FSx for Lustre обеспечивает миллионы IOPS и сотни ГБ/с для HPC и обучения ML с прямой интеграцией с хранилищем данных S3; а развёртывания Scratch оптимизированы по стоимости для временных задач, тогда как развёртывания Persistent подходят для длительных и устойчивых к сбоям рабочих нагрузок. Далее мы рассмотрим кэширование с помощью ElastiCache.