0Pricing
Cloud & IT Cert Prep · レッスン

FSx:WindowsファイルサーバーとLustre

FSx for WindowsでフルマネージドのWindowsネイティブSMBファイルシステムを実行するか、FSx for Lustreを高性能コンピューティングのワークロードに使用します。

「FSx:WindowsファイルサーバーとLustre」はCoddyKit上の無料Cloud & IT Cert Prepレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはCloud & IT Cert Prep学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Cloud & IT Cert Prepコースには全4レッスンが含まれています。

Amazon FSx とは

Amazon FSx は、業界標準のテクノロジーを基盤とする、AWS のフルマネージドファイルシステムのファミリーです。EFS が Linux 向けの POSIX NFS ファイルシステムを提供するのに対し、FSx はネイティブプロトコルのサポートや特定のパフォーマンス特性を必要とするワークロード向けに、用途に特化したファイルシステムを提供します。FSx には、FSx for Windows File Server(SMB)、FSx for Lustre(HPC)、FSx for NetApp ONTAP、FSx for OpenZFS の 4 種類があります。SAA-C03 試験では主に Windows と Lustre が問われます。

FSx for Windows File Server:概要

Amazon FSx for Windows File Server は、Windows Server を基盤とするフルマネージドの Windows ネイティブ SMB ファイルシステムです。SMB プロトコル(バージョン 2.0~3.1.1)、Active Directory 統合、Distributed File System(DFS)名前空間、Windows ACL、NTFS、ユーザークォータ、シャドウコピーなど、Windows 固有の機能をすべてサポートしています。オンプレミスの Windows ファイルサーバーに代わる AWS ネイティブのサービスであり、Microsoft SharePoint、SQL Server、ホームディレクトリ、カスタム Windows .NET アプリケーションなど、SMB アクセスを必要とする Windows アプリケーション向けに設計されています。

# Create an FSx for Windows file system joined to an AD domain
aws fsx create-file-system \
  --file-system-type WINDOWS \
  --storage-capacity 2000 \
  --storage-type SSD \
  --subnet-ids subnet-aaa111 subnet-bbb222 \
  --windows-configuration '{
    "ActiveDirectoryId": "d-1234567890",
    "ThroughputCapacity": 256,
    "DeploymentType": "MULTI_AZ_1",
    "AutomaticBackupRetentionDays": 7
  }'

Active Directory 統合

FSx for Windows は、AWS Managed Microsoft Active Directory またはセルフマネージド AD(オンプレミスまたは EC2 上)と統合できます。すべてのユーザーは AD 認証情報を使って認証し、オンプレミスの Windows ファイルサーバーと同様に Windows ACL でファイル権限を管理します。そのため FSx for Windows は、Windows ファイル共有をリフトアンドシフトする最も簡単な移行先です。セルフマネージド AD に接続する場合、FSx は Direct Connect または VPN 経由でドメインコントローラーへのネットワーク接続を必要とします。

# Join FSx to a self-managed (on-premises) AD via Direct Connect
# aws fsx create-file-system with windows configuration:
# "SelfManagedActiveDirectoryConfiguration": {
#   "DomainName": "corp.example.com",
#   "OrganizationalUnitDistinguishedName": "OU=FSx,DC=corp,DC=example,DC=com",
#   "FileSystemAdministratorsGroup": "FSxAdmins",
#   "UserName": "svc-fsx@corp.example.com",
#   "Password": "...",
#   "DnsIps": ["10.0.0.10", "10.0.0.11"]
# }

FSx for Windows:デプロイタイプ

FSx for Windows には 2 つのデプロイタイプがあります。Single-AZ(1 つの AZ に 1 台のファイルサーバーを配置。可用性 SLA は 99.9% で、低コスト)と、Multi-AZ(2 つ目の AZ にあるスタンバイファイルサーバーへ同期レプリケーションを行い、自動フェイルオーバーに対応。可用性 SLA は 99.99%)です。Multi-AZ には異なる AZ にある 2 つのサブネットが必要で、フェイルオーバー時にはフローティング IP が自動的にスタンバイへ移行します。高可用性が必要な本番 Windows ワークロードには、常に Multi-AZ を選択してください。Single-AZ は開発・テスト環境に適しています。

# Compare availability SLAs:
# Single-AZ 1 or 2: 99.9% SLA
# Multi-AZ 1: 99.99% SLA (synchronous standby, auto-failover)

# Access the FSx share from a Windows instance using UNC path:
# \\fs-0abc1234def567890.corp.example.com\share

# Or map a drive using PowerShell:
# New-SmbMapping -LocalPath 'Z:' -RemotePath '\\amznfsxabcd1234.corp.example.com\share'

FSx for Windows:バックアップとシャドウコピー

FSx for Windows は、自動日次バックアップ(保持期間 0~90 日)と、S3 に保存されるオンデマンドの手動バックアップをサポートしています。バックアップは増分方式で、FSx が VSS(Volume Shadow Copy Service)を使用するためアプリケーション整合性があります。シャドウコピーを使用すると、ファイルの以前のバージョンにアクセスできます。エンドユーザーは Windows Explorer でファイルを右クリックし、IT 部門に問い合わせることなく以前のバージョンを復元できます。シャドウコピーはファイルシステム自体に保存され、FSx のバックアップとは別のものです。

# Create an on-demand backup of an FSx Windows file system
aws fsx create-backup \
  --file-system-id fs-0abc1234def567890 \
  --tags Key=Purpose,Value=PreUpgradeBackup

# Configure shadow copy schedule via FSx console or PowerShell:
# $schedule = '{ "CopyFrequency": "DAILY_07_00" }'
# Set-FsxWindowsConfiguration -ShadowCopyConfiguration $schedule

# Shadow copies give end users self-service file recovery

FSx for Lustre:概要

Amazon FSx for Lustre は、オープンソースの Lustre ファイルシステムを基盤とする、フルマネージドの高性能並列ファイルシステムです。Lustre はスーパーコンピューターや HPC クラスターで採用されるファイルシステムです。FSx for Lustre は、サブミリ秒のレイテンシー、数百 GB/秒のスループット、数百万 IOPS を実現するため、機械学習のトレーニング、ゲノミクス、金融シミュレーション、地震解析、動画レンダリングに最適です。データリポジトリとして Amazon S3 とネイティブに統合できます。

# Create an FSx for Lustre file system linked to S3
aws fsx create-file-system \
  --file-system-type LUSTRE \
  --storage-capacity 1200 \
  --subnet-ids subnet-aaa111 \
  --lustre-configuration '{
    "ImportPath": "s3://my-hpc-data-bucket",
    "ExportPath": "s3://my-hpc-data-bucket/exports",
    "DeploymentType": "PERSISTENT_2",
    "PerUnitStorageThroughput": 250
  }'

FSx for Lustre:S3 統合

FSx for Lustre は、データリポジトリとしてS3 バケットにリンクできます。S3 内のファイルはすぐに Lustre の名前空間に表示されます(遅延ロード。実際のデータは初回アクセス時に Lustre へコピーされます)。HPC ジョブの完了後は、データリポジトリタスクを使って結果を S3 にエクスポートできます。このパターンでは、大規模なデータセットを S3 に低コストで保存し、コンピューティングジョブの実行中だけ Lustre ファイルシステムを作成して、完了後に削除できます。料金はコンピューティングの実行時間分だけ支払います。

# Import data from S3 to FSx Lustre on demand
aws fsx create-data-repository-task \
  --type IMPORT_METADATA_AND_DATA \
  --paths 's3://my-hpc-data-bucket/dataset/' \
  --file-system-id fs-0abc1234def567890 \
  --report '{ "Enabled": true, "Path": "s3://my-hpc-data-bucket/task-reports/", "Scope": "FAILED_FILES_ONLY"}'

# Export results back to S3 after computation
aws fsx create-data-repository-task \
  --type EXPORT_TO_REPOSITORY \
  --paths '/results/' \
  --file-system-id fs-0abc1234def567890

FSx for Lustre:デプロイタイプ

FSx for Lustre には、主に 2 つのデプロイタイプがあります。Scratch(一時的でレプリケーションなし。価格あたりのスループットが最大。すべてのデータが S3 から取得され、データ損失を許容できる短時間のバッチジョブ向け)と、Persistent(AZ 内でレプリケーションを行い、耐障害性が必要な長時間実行の HPC ワークロード向け)です。Persistent 2 は現行世代で、PerUnitStorageThroughput として 125、250、500 MB/s/TiB を提供します。SAA-C03 試験では、Scratch はコスト最適化された一時ジョブ、Persistent は長時間実行または機密性の高いデータ向けです。

# Scratch file system (no replication, cheaper, for temporary jobs)
aws fsx create-file-system \
  --file-system-type LUSTRE \
  --storage-capacity 1200 \
  --subnet-ids subnet-aaa111 \
  --lustre-configuration '{
    "DeploymentType": "SCRATCH_2",
    "ImportPath": "s3://my-data-bucket"
  }'

# Scratch 2 specs:
# 200 MB/s per TiB baseline
# 6x burst (data not replicated within AZ)

Linux への FSx for Lustre のマウント

FSx for Lustre は、Lustre クライアントを使用して Linux インスタンスにマウントします。Amazon Linux 2 と Amazon Linux 2023 には Lustre カーネルモジュールが含まれています。マウントターゲットを作成し、Lustre プロトコルのトラフィック(ポート 988 およびポート範囲 1018~1023)を許可するようにセキュリティグループを設定したら、lustre ファイルシステムタイプを指定してマウントします。マウントポイントでは完全な POSIX セマンティクスを利用できます。ML トレーニングでは、すべてのトレーニングインスタンスにファイルシステムをマウントしてください。データをコピーしなくても、すべてのインスタンスから同じデータセットを参照できます。

# Install Lustre client on Amazon Linux 2
sudo amazon-linux-extras install -y lustre

# Mount the FSx for Lustre file system
sudo mkdir /mnt/fsx
sudo mount -t lustre \
  -o relatime,flock \
  fs-0abc1234def567890.fsx.us-east-1.amazonaws.com@tcp:/fsx \
  /mnt/fsx

# Verify mount and check throughput
df -h /mnt/fsx
lsattr /mnt/fsx

FSx for NetApp ONTAP と OpenZFS

FSx for NetApp ONTAP は、シンプロビジョニング、データ重複排除、圧縮、SnapMirror レプリケーションなどの高度な ONTAP 機能に加え、NFS、SMB、iSCSI によるマルチプロトコルアクセスを提供します。そのため、アーキテクチャを再設計せずに NetApp ストレージを AWS へ移行する企業に最適です。FSx for OpenZFS は、ZFS に組み込まれたデータ整合性チェック、圧縮、スナップショットを備えた、NFS アクセス可能なストレージを提供します。どちらも Linux と Windows のクライアントをサポートしています。SAA-C03 試験では、シナリオに「既存の NetApp ストレージ」または「マルチプロトコルのファイルアクセス」とある場合、ONTAP が答えです。

EFS、FSx for Windows、FSx for Lustre の選択

主な選択基準は次のとおりです。EFS — Linux/POSIX NFS、伸縮自在な容量、複数インスタンス間の共有、Lambda をサポート。FSx for Windows — SMB、Active Directory 統合、Windows ACL、NTFS を必要とする Windows クライアント向け。ネイティブな Windows ファイルサーバー機能を必要とする Windows アプリケーションでは、これが唯一の選択肢です。FSx for Lustre — HPC、ML トレーニング、ゲノミクス、動画レンダリング向け。S3 統合と、数百 GB/秒のスループットおよび数百万 IOPS が必要な場合に適しています。SAA-C03 試験では、これらの違いをワークロードのシナリオ問題を通して確認します。

クイックチェック

このレッスンで学んだ AWS Solutions Architect(SAA-C03)の概念について、理解度を確認しましょう。

レッスンのまとめ

このレッスンでは、FSx for Windows File Serverは、NTFS、ACL、シャドウコピーを必要とする Windows ワークロード向けに、Active Directory 統合によるネイティブ SMB を提供すること、FSx for Lustreは、S3 データリポジトリとの直接統合により、HPC や ML トレーニング向けに数百万 IOPS と数百 GB/s のスループットを実現すること、そしてScratch デプロイは一時的なジョブ向けにコストを最適化し、Persistent デプロイは長時間稼働する高い耐障害性が求められるワークロードに適していることを学びました。次は ElastiCache によるキャッシュについて説明します。

よくある質問

「FSx:WindowsファイルサーバーとLustre」レッスンは無料ですか?

はい。「FSx:WindowsファイルサーバーとLustre」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し(組み込みコードエディタと24時間対応のAIチューター)、Cloud & IT Cert Prepコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Cloud & IT Cert Prepコースには全4レッスンが含まれています。

「FSx:WindowsファイルサーバーとLustre」で何を学びますか?

FSx for WindowsでフルマネージドのWindowsネイティブSMBファイルシステムを実行するか、FSx for Lustreを高性能コンピューティングのワークロードに使用します。 ブラウザで直接実行するハンズオンコードでCloud & IT Cert Prepを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Cloud & IT Cert Prepを始めるのに経験は必要ですか?

事前経験は必要ありません。CoddyKitのCloud & IT Cert Prepは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。

「FSx:WindowsファイルサーバーとLustre」レッスンにはどのくらい時間がかかりますか?

ほとんどのCoddyKitレッスンは約5~10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このCloud & IT Cert Prepレッスンでコードを書いて実行できますか?

はい。すべてのCloud & IT Cert Prepレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. EBSボリュームタイプ:gp3、io2、st1、sc1
  2. EBSスナップショット、暗号化、RAID
  3. EFS:Linux向け共有ファイルストレージ
  4. FSx:WindowsファイルサーバーとLustre
← Cloud & IT Cert Prepに戻る