FSx:WindowsファイルサーバーとLustre
FSx for WindowsでフルマネージドのWindowsネイティブSMBファイルシステムを実行するか、FSx for Lustreを高性能コンピューティングのワークロードに使用します。
「FSx:WindowsファイルサーバーとLustre」はCoddyKit上の無料AWS Solutions Architectレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAWS Solutions Architect学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AWS Solutions Architectコースには全4レッスンが含まれています。
Amazon FSx とは
Amazon FSx は、業界標準のテクノロジーを基盤とする、AWS のフルマネージドファイルシステムのファミリーです。EFS が Linux 向けの POSIX NFS ファイルシステムを提供するのに対し、FSx はネイティブプロトコルのサポートや特定のパフォーマンス特性を必要とするワークロード向けに、用途に特化したファイルシステムを提供します。FSx には、FSx for Windows File Server(SMB)、FSx for Lustre(HPC)、FSx for NetApp ONTAP、FSx for OpenZFS の 4 種類があります。SAA-C03 試験では主に Windows と Lustre が問われます。
FSx for Windows File Server:概要
Amazon FSx for Windows File Server は、Windows Server を基盤とするフルマネージドの Windows ネイティブ SMB ファイルシステムです。SMB プロトコル(バージョン 2.0~3.1.1)、Active Directory 統合、Distributed File System(DFS)名前空間、Windows ACL、NTFS、ユーザークォータ、シャドウコピーなど、Windows 固有の機能をすべてサポートしています。オンプレミスの Windows ファイルサーバーに代わる AWS ネイティブのサービスであり、Microsoft SharePoint、SQL Server、ホームディレクトリ、カスタム Windows .NET アプリケーションなど、SMB アクセスを必要とする Windows アプリケーション向けに設計されています。
# Create an FSx for Windows file system joined to an AD domain
aws fsx create-file-system \
--file-system-type WINDOWS \
--storage-capacity 2000 \
--storage-type SSD \
--subnet-ids subnet-aaa111 subnet-bbb222 \
--windows-configuration '{
"ActiveDirectoryId": "d-1234567890",
"ThroughputCapacity": 256,
"DeploymentType": "MULTI_AZ_1",
"AutomaticBackupRetentionDays": 7
}'Active Directory 統合
FSx for Windows は、AWS Managed Microsoft Active Directory またはセルフマネージド AD(オンプレミスまたは EC2 上)と統合できます。すべてのユーザーは AD 認証情報を使って認証し、オンプレミスの Windows ファイルサーバーと同様に Windows ACL でファイル権限を管理します。そのため FSx for Windows は、Windows ファイル共有をリフトアンドシフトする最も簡単な移行先です。セルフマネージド AD に接続する場合、FSx は Direct Connect または VPN 経由でドメインコントローラーへのネットワーク接続を必要とします。
# Join FSx to a self-managed (on-premises) AD via Direct Connect
# aws fsx create-file-system with windows configuration:
# "SelfManagedActiveDirectoryConfiguration": {
# "DomainName": "corp.example.com",
# "OrganizationalUnitDistinguishedName": "OU=FSx,DC=corp,DC=example,DC=com",
# "FileSystemAdministratorsGroup": "FSxAdmins",
# "UserName": "svc-fsx@corp.example.com",
# "Password": "...",
# "DnsIps": ["10.0.0.10", "10.0.0.11"]
# }FSx for Windows:デプロイタイプ
FSx for Windows には 2 つのデプロイタイプがあります。Single-AZ(1 つの AZ に 1 台のファイルサーバーを配置。可用性 SLA は 99.9% で、低コスト)と、Multi-AZ(2 つ目の AZ にあるスタンバイファイルサーバーへ同期レプリケーションを行い、自動フェイルオーバーに対応。可用性 SLA は 99.99%)です。Multi-AZ には異なる AZ にある 2 つのサブネットが必要で、フェイルオーバー時にはフローティング IP が自動的にスタンバイへ移行します。高可用性が必要な本番 Windows ワークロードには、常に Multi-AZ を選択してください。Single-AZ は開発・テスト環境に適しています。
# Compare availability SLAs:
# Single-AZ 1 or 2: 99.9% SLA
# Multi-AZ 1: 99.99% SLA (synchronous standby, auto-failover)
# Access the FSx share from a Windows instance using UNC path:
# \\fs-0abc1234def567890.corp.example.com\share
# Or map a drive using PowerShell:
# New-SmbMapping -LocalPath 'Z:' -RemotePath '\\amznfsxabcd1234.corp.example.com\share'FSx for Windows:バックアップとシャドウコピー
FSx for Windows は、自動日次バックアップ(保持期間 0~90 日)と、S3 に保存されるオンデマンドの手動バックアップをサポートしています。バックアップは増分方式で、FSx が VSS(Volume Shadow Copy Service)を使用するためアプリケーション整合性があります。シャドウコピーを使用すると、ファイルの以前のバージョンにアクセスできます。エンドユーザーは Windows Explorer でファイルを右クリックし、IT 部門に問い合わせることなく以前のバージョンを復元できます。シャドウコピーはファイルシステム自体に保存され、FSx のバックアップとは別のものです。
# Create an on-demand backup of an FSx Windows file system
aws fsx create-backup \
--file-system-id fs-0abc1234def567890 \
--tags Key=Purpose,Value=PreUpgradeBackup
# Configure shadow copy schedule via FSx console or PowerShell:
# $schedule = '{ "CopyFrequency": "DAILY_07_00" }'
# Set-FsxWindowsConfiguration -ShadowCopyConfiguration $schedule
# Shadow copies give end users self-service file recoveryFSx for Lustre:概要
Amazon FSx for Lustre は、オープンソースの Lustre ファイルシステムを基盤とする、フルマネージドの高性能並列ファイルシステムです。Lustre はスーパーコンピューターや HPC クラスターで採用されるファイルシステムです。FSx for Lustre は、サブミリ秒のレイテンシー、数百 GB/秒のスループット、数百万 IOPS を実現するため、機械学習のトレーニング、ゲノミクス、金融シミュレーション、地震解析、動画レンダリングに最適です。データリポジトリとして Amazon S3 とネイティブに統合できます。
# Create an FSx for Lustre file system linked to S3
aws fsx create-file-system \
--file-system-type LUSTRE \
--storage-capacity 1200 \
--subnet-ids subnet-aaa111 \
--lustre-configuration '{
"ImportPath": "s3://my-hpc-data-bucket",
"ExportPath": "s3://my-hpc-data-bucket/exports",
"DeploymentType": "PERSISTENT_2",
"PerUnitStorageThroughput": 250
}'FSx for Lustre:S3 統合
FSx for Lustre は、データリポジトリとしてS3 バケットにリンクできます。S3 内のファイルはすぐに Lustre の名前空間に表示されます(遅延ロード。実際のデータは初回アクセス時に Lustre へコピーされます)。HPC ジョブの完了後は、データリポジトリタスクを使って結果を S3 にエクスポートできます。このパターンでは、大規模なデータセットを S3 に低コストで保存し、コンピューティングジョブの実行中だけ Lustre ファイルシステムを作成して、完了後に削除できます。料金はコンピューティングの実行時間分だけ支払います。
# Import data from S3 to FSx Lustre on demand
aws fsx create-data-repository-task \
--type IMPORT_METADATA_AND_DATA \
--paths 's3://my-hpc-data-bucket/dataset/' \
--file-system-id fs-0abc1234def567890 \
--report '{ "Enabled": true, "Path": "s3://my-hpc-data-bucket/task-reports/", "Scope": "FAILED_FILES_ONLY"}'
# Export results back to S3 after computation
aws fsx create-data-repository-task \
--type EXPORT_TO_REPOSITORY \
--paths '/results/' \
--file-system-id fs-0abc1234def567890FSx for Lustre:デプロイタイプ
FSx for Lustre には、主に 2 つのデプロイタイプがあります。Scratch(一時的でレプリケーションなし。価格あたりのスループットが最大。すべてのデータが S3 から取得され、データ損失を許容できる短時間のバッチジョブ向け)と、Persistent(AZ 内でレプリケーションを行い、耐障害性が必要な長時間実行の HPC ワークロード向け)です。Persistent 2 は現行世代で、PerUnitStorageThroughput として 125、250、500 MB/s/TiB を提供します。SAA-C03 試験では、Scratch はコスト最適化された一時ジョブ、Persistent は長時間実行または機密性の高いデータ向けです。
# Scratch file system (no replication, cheaper, for temporary jobs)
aws fsx create-file-system \
--file-system-type LUSTRE \
--storage-capacity 1200 \
--subnet-ids subnet-aaa111 \
--lustre-configuration '{
"DeploymentType": "SCRATCH_2",
"ImportPath": "s3://my-data-bucket"
}'
# Scratch 2 specs:
# 200 MB/s per TiB baseline
# 6x burst (data not replicated within AZ)Linux への FSx for Lustre のマウント
FSx for Lustre は、Lustre クライアントを使用して Linux インスタンスにマウントします。Amazon Linux 2 と Amazon Linux 2023 には Lustre カーネルモジュールが含まれています。マウントターゲットを作成し、Lustre プロトコルのトラフィック(ポート 988 およびポート範囲 1018~1023)を許可するようにセキュリティグループを設定したら、lustre ファイルシステムタイプを指定してマウントします。マウントポイントでは完全な POSIX セマンティクスを利用できます。ML トレーニングでは、すべてのトレーニングインスタンスにファイルシステムをマウントしてください。データをコピーしなくても、すべてのインスタンスから同じデータセットを参照できます。
# Install Lustre client on Amazon Linux 2
sudo amazon-linux-extras install -y lustre
# Mount the FSx for Lustre file system
sudo mkdir /mnt/fsx
sudo mount -t lustre \
-o relatime,flock \
fs-0abc1234def567890.fsx.us-east-1.amazonaws.com@tcp:/fsx \
/mnt/fsx
# Verify mount and check throughput
df -h /mnt/fsx
lsattr /mnt/fsxFSx for NetApp ONTAP と OpenZFS
FSx for NetApp ONTAP は、シンプロビジョニング、データ重複排除、圧縮、SnapMirror レプリケーションなどの高度な ONTAP 機能に加え、NFS、SMB、iSCSI によるマルチプロトコルアクセスを提供します。そのため、アーキテクチャを再設計せずに NetApp ストレージを AWS へ移行する企業に最適です。FSx for OpenZFS は、ZFS に組み込まれたデータ整合性チェック、圧縮、スナップショットを備えた、NFS アクセス可能なストレージを提供します。どちらも Linux と Windows のクライアントをサポートしています。SAA-C03 試験では、シナリオに「既存の NetApp ストレージ」または「マルチプロトコルのファイルアクセス」とある場合、ONTAP が答えです。
EFS、FSx for Windows、FSx for Lustre の選択
主な選択基準は次のとおりです。EFS — Linux/POSIX NFS、伸縮自在な容量、複数インスタンス間の共有、Lambda をサポート。FSx for Windows — SMB、Active Directory 統合、Windows ACL、NTFS を必要とする Windows クライアント向け。ネイティブな Windows ファイルサーバー機能を必要とする Windows アプリケーションでは、これが唯一の選択肢です。FSx for Lustre — HPC、ML トレーニング、ゲノミクス、動画レンダリング向け。S3 統合と、数百 GB/秒のスループットおよび数百万 IOPS が必要な場合に適しています。SAA-C03 試験では、これらの違いをワークロードのシナリオ問題を通して確認します。
クイックチェック
このレッスンで学んだ AWS Solutions Architect(SAA-C03)の概念について、理解度を確認しましょう。
レッスンのまとめ
このレッスンでは、FSx for Windows File Serverは、NTFS、ACL、シャドウコピーを必要とする Windows ワークロード向けに、Active Directory 統合によるネイティブ SMB を提供すること、FSx for Lustreは、S3 データリポジトリとの直接統合により、HPC や ML トレーニング向けに数百万 IOPS と数百 GB/s のスループットを実現すること、そしてScratch デプロイは一時的なジョブ向けにコストを最適化し、Persistent デプロイは長時間稼働する高い耐障害性が求められるワークロードに適していることを学びました。次は ElastiCache によるキャッシュについて説明します。
AI チューターと学ぶ AWS Solutions Architect — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「FSx:WindowsファイルサーバーとLustre」レッスンは無料ですか?
はい。「FSx:WindowsファイルサーバーとLustre」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し(組み込みコードエディタと24時間対応のAIチューター)、AWS Solutions Architectコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AWS Solutions Architectコースには全4レッスンが含まれています。
「FSx:WindowsファイルサーバーとLustre」で何を学びますか?
FSx for WindowsでフルマネージドのWindowsネイティブSMBファイルシステムを実行するか、FSx for Lustreを高性能コンピューティングのワークロードに使用します。 ブラウザで直接実行するハンズオンコードでAWS Solutions Architectを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AWS Solutions Architectを始めるのに経験は必要ですか?
事前経験は必要ありません。CoddyKitのAWS Solutions Architectは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「FSx:WindowsファイルサーバーとLustre」レッスンにはどのくらい時間がかかりますか?
ほとんどのCoddyKitレッスンは約5~10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAWS Solutions Architectレッスンでコードを書いて実行できますか?
はい。すべてのAWS Solutions Architectレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- EBSボリュームタイプ:gp3、io2、st1、sc1
- EBSスナップショット、暗号化、RAID
- EFS:Linux向け共有ファイルストレージ
- FSx:WindowsファイルサーバーとLustre