Buckets, objecten en Regions

Een object in S3 bestaat uit de gegevens (de inhoud van het bestand), een sleutel (de unieke naam van het object binnen de bucket), metagegevens (door het systeem en de gebruiker gedefinieerde sleutel-waardeparen) en optioneel een versie-ID (als versiebeheer is ingeschakeld). De sleutel is de volledige tekenreeks die op een pad lijkt, bijvoorbeeld photos/2024/summer/beach.jpg. S3 heeft een vlakke structuur: er zijn geen echte mappen, alleen sleutelvoorvoegsels die eruitzien als mappen. De maximale objectgrootte is 5 TB. Gebruik voor objecten groter dan 100 MB Multipart Upload voor betere prestaties en betrouwbaarheid.

S3-objecten kunnen via twee URL-indelingen worden benaderd. Padstijl: https://s3.<region>.amazonaws.com/<bucket>/<key> (wordt uitgefaseerd voor nieuwe buckets). Virtuele-hoststijl: https://<bucket>.s3.<region>.amazonaws.com/<key> (de huidige standaard). De bucketnaam wordt een subdomein. Daarom moeten bucketnamen voldoen aan de DNS-regels. Bij vooraf ondertekende URL's en CloudFront-distributies zie je altijd de indeling met virtuele host. Als je de URL-structuur begrijpt, kun je bucketbeleid en CORS correct configureren.

Sinds december 2020 biedt Amazon S3 automatisch sterke consistentie na schrijven voor lezen voor alle bewerkingen—PUT's van nieuwe objecten, overschrijvingen en DELETE's—in alle Regions, zonder extra kosten. Dit betekent dat elke volgende leesbewerking, zodra een schrijfbewerking is geslaagd, de nieuwste versie van het object retourneert. Dit is een aanzienlijke verbetering ten opzichte van het vorige model met uiteindelijke consistentie en vereenvoudigt het applicatieontwerp doordat vertragingen na het schrijven of logica voor opnieuw proberen niet meer nodig zijn.

Wanneer je een S3-bucket maakt, geef je een Region op en blijven je gegevens in die Region, tenzij je replicatie expliciet configureert. AWS repliceert gegevens binnen die Region over meerdere AZ's voor duurzaamheid, maar verplaatst gegevens niet automatisch naar andere Regions. Deze regionale gegevenslocatie is belangrijk voor naleving van regelgeving: als regelgeving vereist dat gegevens in de EU blijven, maak je de bucket in eu-west-1 of een andere EU-Region. Je gegevens verlaten die Region dan niet.

Multipart Upload is vereist voor objecten van meer dan 5 GB en wordt aanbevolen voor objecten van meer dan 100 MB. De bewerking verdeelt het object in delen (minimaal 5 MB per deel, maximaal 10.000 delen), uploadt elk deel afzonderlijk (parallel) en voegt ze samen tot het uiteindelijke object. Als een deel mislukt, hoef je alleen dat deel opnieuw te uploaden. De AWS CLI en SDK's verwerken multipart upload automatisch wanneer je voor grote bestanden de opdracht aws s3 cp gebruikt; je hoeft dit niet handmatig te implementeren.

Elk S3-object heeft systeemmetagegevens die door AWS worden ingesteld (Content-Type, Content-Length, ETag, Last-Modified) en optionele door de gebruiker gedefinieerde metagegevens (aangepaste sleutel-waardeparen met het voorvoegsel x-amz-meta-). Metagegevens worden samen met het object opgeslagen en geretourneerd in HTTP-antwoordheaders wanneer het object wordt gedownload. Content-Type is vooral belangrijk voor weergave op het web: als je een HTML-bestand uploadt zonder Content-Type: text/html in te stellen, bieden browsers het mogelijk aan als download in plaats van het weer te geven.

Amazon S3 kan dienen als host voor statische websites en HTML, CSS, JavaScript, afbeeldingen en andere bestanden rechtstreeks vanuit een bucket aanbieden. Schakel hosting van statische websites in bij de eigenschappen van de bucket en geef een indexdocument (index.html) en optioneel foutdocument (404.html) op. De URL van het website-eindpunt van de bucket volgt de indeling: http://<bucket>.s3-website.<region>.amazonaws.com. Plaats voor HTTPS en ondersteuning van aangepaste domeinen een CloudFront-distributie vóór de S3-bucket voor de statische website.

S3 Transfer Acceleration versnelt het uploaden van objecten over lange afstanden door gegevens via de dichtstbijzijnde CloudFront Edge Location te routeren en vervolgens via het privénetwerk van AWS naar de Region van de S3-bucket te sturen. In plaats van rechtstreeks naar het S3-eindpunt te uploaden, uploadt de client naar een versneld eindpunt zoals my-bucket.s3-accelerate.amazonaws.com. Transfer Acceleration brengt kleine kosten per GB met zich mee, maar kan de uploadsnelheid aanzienlijk verbeteren voor gebruikers die zich geografisch ver van de Region van de bucket bevinden.

Objecttags zijn sleutel-waardeparen die je aan S3-objecten koppelt om ze te categoriseren en beheren. Tags worden gebruikt voor: levenscyclusregels (objecten met specifieke tags overzetten of laten verlopen), toegangsbeheer (voorwaarden in IAM- en bucketbeleid op basis van tagwaarden), kostentoewijzing (Cost Explorer houdt S3-uitgaven per tag bij) en inventarisatie en analyse. Elk object kan maximaal 10 tags hebben. Je kunt tags tijdens het uploaden toevoegen of later bijwerken zonder de objectgegevens zelf te wijzigen.

In deze les heb je geleerd dat S3-buckets wereldwijd uniek benoemde containers zijn die aan een specifieke Region zijn gekoppeld, dat objecten worden opgeslagen met een vlakke sleutelstructuur en metagegevens en tags ondersteunen en dat S3 sterke consistentie na schrijven voor lezen en 11 negens aan duurzaamheid biedt dankzij redundantie over meerdere AZ's. Hierna behandelen we toegangsbeheer voor S3 met bucketbeleid en ACL's.