Cloud & IT Cert Prep · Oppitunti

FSx: Windows-tiedostopalvelin ja Lustre

Suorita FSx for Windowsilla täysin hallinnoitua Windows-natiivia SMB-tiedostojärjestelmää tai käytä FSx for Lustrea tehokkaan laskennan työkuormiin.

Oppitunti 4/413 vaihetta

FSx: Windows-tiedostopalvelin ja Lustre on ilmainen Cloud & IT Cert Prep-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Cloud & IT Cert Prep-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Cloud & IT Cert Prep-kurssilla on yhteensä 4 oppituntia.

Mikä Amazon FSx on?

Amazon FSx on AWS:n täysin hallinnoitujen tiedostojärjestelmien tuoteperhe, joka perustuu alan standarditeknologioihin. EFS tarjoaa Linuxille POSIX-yhteensopivan NFS-tiedostojärjestelmän, kun taas FSx tarjoaa tiettyihin käyttötarkoituksiin suunniteltuja tiedostojärjestelmiä kuormituksille, jotka tarvitsevat natiivin protokollatuen tai erityisiä suorituskykyominaisuuksia. FSx:n neljä vaihtoehtoa ovat: FSx for Windows File Server (SMB), FSx for Lustre (HPC), FSx for NetApp ONTAP ja FSx for OpenZFS. SAA-C03-kokeessa painotetaan ensisijaisesti Windowsia ja Lustrea.

FSx for Windows File Server: yleiskatsaus

Amazon FSx for Windows File Server on täysin hallinnoitu, Windows-natiivi SMB-tiedostojärjestelmä, joka perustuu Windows Serveriin. Se tukee kaikkia Windows-kohtaisia ominaisuuksia: SMB-protokollaa (versiot 2.0–3.1.1), Active Directory -integraatiota, Distributed File System (DFS) -nimiavaruuksia, Windowsin ACL-käyttöoikeusluetteloita, NTFS:ää, käyttäjäkohtaisia kiintiöitä ja varjokopioita. Se on AWS-natiivi korvaaja paikallisille Windows-tiedostopalvelimille ja suunniteltu erityisesti Windows-sovelluksille, jotka tarvitsevat SMB-käyttöä – esimerkiksi Microsoft SharePointille, SQL Serverille, kotihakemistoille ja mukautetuille Windows .NET -sovelluksille.

# Create an FSx for Windows file system joined to an AD domain
aws fsx create-file-system \
  --file-system-type WINDOWS \
  --storage-capacity 2000 \
  --storage-type SSD \
  --subnet-ids subnet-aaa111 subnet-bbb222 \
  --windows-configuration '{
    "ActiveDirectoryId": "d-1234567890",
    "ThroughputCapacity": 256,
    "DeploymentType": "MULTI_AZ_1",
    "AutomaticBackupRetentionDays": 7
  }'

Active Directory -integraatio

FSx for Windows integroituu AWS Managed Microsoft Active Directoryyn tai itse hallinnoimaasi AD:hen (paikallisessa ympäristössä tai EC2:lla). Kaikki käyttäjät tunnistautuvat AD-tunnistetiedoillaan, ja hallitset tiedostojen käyttöoikeuksia Windowsin ACL-luetteloilla – aivan kuten paikallisessa Windows-tiedostopalvelimessa. Tämä tekee FSx for Windowsista suoraviivaisimman lift-and-shift-kohteen Windows-tiedostojaoille. Kun muodostat yhteyden itse hallinnoimaasi AD:hen, FSx edellyttää verkkoyhteyttä toimialueen ohjauskoneisiin Direct Connectin tai VPN:n kautta.

# Join FSx to a self-managed (on-premises) AD via Direct Connect
# aws fsx create-file-system with windows configuration:
# "SelfManagedActiveDirectoryConfiguration": {
#   "DomainName": "corp.example.com",
#   "OrganizationalUnitDistinguishedName": "OU=FSx,DC=corp,DC=example,DC=com",
#   "FileSystemAdministratorsGroup": "FSxAdmins",
#   "UserName": "svc-fsx@corp.example.com",
#   "Password": "...",
#   "DnsIps": ["10.0.0.10", "10.0.0.11"]
# }

FSx for Windows: käyttöönottotyypit

FSx for Windowsilla on kaksi käyttöönottotyyppiä: Single-AZ (yksi tiedostopalvelin yhdessä AZ:ssa – 99,9 %:n saatavuus-SLA, edullisempi) ja Multi-AZ (synkroninen replikointi toisen AZ:n valmiustilassa olevaan tiedostopalvelimeen ja automaattinen vikasietoisuus – 99,99 %:n saatavuus-SLA). Multi-AZ edellyttää kahta aliverkkoa eri AZ:issä ja käyttää kelluvaa IP-osoitetta, joka siirtyy vikatilanteessa automaattisesti valmiustilassa olevalle palvelimelle. Tuotannon Windows-kuormituksille, jotka edellyttävät korkeaa käytettävyyttä, valitse aina Multi-AZ. Single-AZ sopii kehitys- ja testiympäristöihin.

# Compare availability SLAs:
# Single-AZ 1 or 2: 99.9% SLA
# Multi-AZ 1: 99.99% SLA (synchronous standby, auto-failover)

# Access the FSx share from a Windows instance using UNC path:
# \\fs-0abc1234def567890.corp.example.com\share

# Or map a drive using PowerShell:
# New-SmbMapping -LocalPath 'Z:' -RemotePath '\\amznfsxabcd1234.corp.example.com\share'

FSx for Windows: varmuuskopiot ja varjokopiot

FSx for Windows tukee automaattisia päivittäisiä varmuuskopioita (säilytys 0–90 päivää) ja tarvittaessa tehtäviä manuaalisia varmuuskopioita, jotka tallennetaan S3:een. Varmuuskopiot ovat inkrementaalisia ja sovelluksen kannalta yhtenäisiä, koska FSx käyttää VSS:ää (Volume Shadow Copy Service). Varjokopiot tarjoavat pääsyn tiedostojen aiempiin versioihin – loppukäyttäjät voivat napsauttaa tiedostoa hiiren kakkospainikkeella Windowsin Resurssienhallinnassa ja palauttaa aiemman version ottamatta yhteyttä IT-tukeen. Varjokopiot tallennetaan itse tiedostojärjestelmään, ja ne ovat eri asia kuin FSx:n varmuuskopiot.

# Create an on-demand backup of an FSx Windows file system
aws fsx create-backup \
  --file-system-id fs-0abc1234def567890 \
  --tags Key=Purpose,Value=PreUpgradeBackup

# Configure shadow copy schedule via FSx console or PowerShell:
# $schedule = '{ "CopyFrequency": "DAILY_07_00" }'
# Set-FsxWindowsConfiguration -ShadowCopyConfiguration $schedule

# Shadow copies give end users self-service file recovery

FSx for Lustre: yleiskatsaus

Amazon FSx for Lustre on täysin hallinnoitu, tehokas rinnakkainen tiedostojärjestelmä, joka perustuu avoimen lähdekoodin Lustre-tiedostojärjestelmään. Lustre on supertietokoneiden ja HPC-klustereiden ensisijainen tiedostojärjestelmä. FSx for Lustre tarjoaa alle millisekunnin viiveen, satojen gigatavujen sekuntinopeuden läpimenon ja miljoonia IOPS-operaatioita, joten se sopii erinomaisesti koneoppimisen koulutukseen, genomiikkaan, taloudellisiin simulaatioihin, seismiseen analyysiin ja videon renderöintiin. Se integroituu natiivisti Amazon S3:een taustalla toimivana tietovarastona.

# Create an FSx for Lustre file system linked to S3
aws fsx create-file-system \
  --file-system-type LUSTRE \
  --storage-capacity 1200 \
  --subnet-ids subnet-aaa111 \
  --lustre-configuration '{
    "ImportPath": "s3://my-hpc-data-bucket",
    "ExportPath": "s3://my-hpc-data-bucket/exports",
    "DeploymentType": "PERSISTENT_2",
    "PerUnitStorageThroughput": 250
  }'

FSx for Lustre: S3-integraatio

FSx for Lustre voidaan linkittää S3-säilöön tietovarastoksi. S3:ssa olevat tiedostot näkyvät välittömästi Lustren nimiavaruudessa (laiska lataus – varsinainen data kopioidaan Lustreen ensimmäisen käytön yhteydessä). Kun HPC-työ on valmis, voit viedä tulokset takaisin S3:een tietovarastotehtävän avulla. Tämän toimintamallin ansiosta voit tallentaa suuret tietoaineistot kustannustehokkaasti S3:een, käynnistää Lustre-tiedostojärjestelmän laskentatyön ajaksi ja tuhota sen työn päätyttyä – maksat vain laskenta-ajasta.

# Import data from S3 to FSx Lustre on demand
aws fsx create-data-repository-task \
  --type IMPORT_METADATA_AND_DATA \
  --paths 's3://my-hpc-data-bucket/dataset/' \
  --file-system-id fs-0abc1234def567890 \
  --report '{ "Enabled": true, "Path": "s3://my-hpc-data-bucket/task-reports/", "Scope": "FAILED_FILES_ONLY"}'

# Export results back to S3 after computation
aws fsx create-data-repository-task \
  --type EXPORT_TO_REPOSITORY \
  --paths '/results/' \
  --file-system-id fs-0abc1234def567890

FSx for Lustre: käyttöönottotyypit

FSx for Lustrella on kaksi pääasiallista käyttöönottotyyppiä: Scratch (väliaikainen, replikoimaton, suurin läpimeno hintaa kohden – lyhyisiin erätöihin, joissa datan menetys on hyväksyttävää, koska kaikki data tulee S3:sta) ja Persistent (replikoidaan AZ:n sisällä ja suunniteltu pitkäkestoisiin HPC-kuormituksiin, jotka tarvitsevat vikasietoisuutta). Persistent 2 on nykyinen sukupolvi, joka tarjoaa PerUnitStorageThroughput-arvot 125, 250 tai 500 MB/s/TiB. SAA-C03-koetta varten: Scratch = kustannusoptimoidut väliaikaiset työt, Persistent = pitkäkestoiset työt tai arkaluonteinen data.

# Scratch file system (no replication, cheaper, for temporary jobs)
aws fsx create-file-system \
  --file-system-type LUSTRE \
  --storage-capacity 1200 \
  --subnet-ids subnet-aaa111 \
  --lustre-configuration '{
    "DeploymentType": "SCRATCH_2",
    "ImportPath": "s3://my-data-bucket"
  }'

# Scratch 2 specs:
# 200 MB/s per TiB baseline
# 6x burst (data not replicated within AZ)

FSx for Lustren liittäminen Linuxiin

FSx for Lustre liitetään Linux-instansseihin Lustre-asiakasohjelmistolla. Amazon Linux 2 ja Amazon Linux 2023 sisältävät Lustre-ytimen moduulin. Kun olet luonut liitoskohteet ja määrittänyt suojausryhmän sallimaan Lustre-protokollan liikenteen (portti 988 ja porttialue 1018–1023), liitä tiedostojärjestelmä käyttämällä lustre-tiedostojärjestelmätyyppiä. Liitoskohta tarjoaa täydellisen POSIX-semantiiikan. Liitä tiedostojärjestelmä ML-koulutusta varten kaikkiin koulutusinstansseihin – ne kaikki näkevät saman tietoaineiston ilman datan kopiointia.

# Install Lustre client on Amazon Linux 2
sudo amazon-linux-extras install -y lustre

# Mount the FSx for Lustre file system
sudo mkdir /mnt/fsx
sudo mount -t lustre \
  -o relatime,flock \
  fs-0abc1234def567890.fsx.us-east-1.amazonaws.com@tcp:/fsx \
  /mnt/fsx

# Verify mount and check throughput
df -h /mnt/fsx
lsattr /mnt/fsx

FSx for NetApp ONTAP ja OpenZFS

FSx for NetApp ONTAP tarjoaa moniprotokollakäytön (NFS, SMB ja iSCSI) sekä edistyneet ONTAP-ominaisuudet, kuten ohueen varaukseen perustuvan tallennuksen, datan deduplikoinnin, pakkauksen ja SnapMirror-replikoinnin. Se sopii erinomaisesti yrityksille, jotka siirtävät NetApp-tallennustaan AWS:ään ilman uudelleenarkkitehtuuria. FSx for OpenZFS tarjoaa NFS:n kautta käytettävää tallennustilaa, jossa on ZFS:n sisäinen tietojen eheyden tarkistus, pakkaus ja tilannevedokset. Molemmat tukevat Linux- ja Windows-asiakkaita. SAA-C03-kokeessa ONTAP on oikea vastaus, kun skenaariossa mainitaan ”olemassa oleva NetApp-tallennus” tai ”moniprotokollainen tiedostojen käyttö”.

EFS:n, FSx for Windowsin ja FSx for Lustren valinta

Keskeiset valintaperusteet: EFS – Linux/POSIX NFS, elastinen kapasiteetti, jakaminen useiden instanssien välillä, Lambda-tuki. FSx for Windows – SMB:tä tarvitsevat Windows-asiakkaat, Active Directory -integraatio, Windowsin ACL-käyttöoikeusluettelot ja NTFS; ainoa vaihtoehto Windows-sovelluksille, jotka tarvitsevat Windows-tiedostopalvelimen natiiveja ominaisuuksia. FSx for Lustre – HPC, ML-koulutus, genomiikka ja videon renderöinti, kun tarvitaan satojen gigatavujen sekuntinopeuden läpimeno ja miljoonia IOPS-operaatioita S3-integraatiolla. SAA-C03-kokeessa näitä eroja testataan kuormitusskenaarioihin perustuvilla kysymyksillä.

Pikatesti

Testaa, kuinka hyvin ymmärrät tämän oppitunnin AWS Solutions Architect (SAA-C03) -käsitteet.

Vastaa interaktiivisessa oppitunnissa

Oppitunnin kertaus

Tässä oppitunnissa opitte, että FSx for Windows File Server tarjoaa natiivin SMB:n ja Active Directory -integraation Windows-työkuormille, jotka edellyttävät NTFS:ää, ACL-käyttöoikeuksia ja varjokopioita, FSx for Lustre tarjoaa miljoonia IOPS-operaatioita ja satoja gigatavuja sekunnissa HPC- ja ML-koulutustyökuormille sekä suoran integraation S3-tietovarastoon, ja Scratch deployments on kustannusoptimoitu tilapäisiin töihin, kun taas Persistent deployments soveltuu pitkäkestoisiin ja vikasietoisiin työkuormiin. Seuraavaksi tutustumme välimuistien käyttöön ElastiCachen avulla.

Aloita maksutta

Opi Cloud & IT Cert Prep tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 150
Oppitunnit: 600

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”FSx: Windows-tiedostopalvelin ja Lustre” ilmainen?

Kyllä – oppitunnin ”FSx: Windows-tiedostopalvelin ja Lustre” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Cloud & IT Cert Prep-kurssin, päivitä CoddyKit PROhon. Cloud & IT Cert Prep-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”FSx: Windows-tiedostopalvelin ja Lustre”?

Suorita FSx for Windowsilla täysin hallinnoitua Windows-natiivia SMB-tiedostojärjestelmää tai käytä FSx for Lustrea tehokkaan laskennan työkuormiin. Harjoittelet Cloud & IT Cert Prep-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Cloud & IT Cert Prep-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Cloud & IT Cert Prep-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.

Kuinka kauan ”FSx: Windows-tiedostopalvelin ja Lustre”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Cloud & IT Cert Prep-oppitunnilla?

Kyllä. Jokainen Cloud & IT Cert Prep-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: Cloud & IT Cert Prep