S3- und Datenübertragungskosten optimieren

Die Speicherkosten von Amazon S3 unterscheiden sich je nach Speicherklasse und Zugriffsmuster erheblich. Für S3 Standard fallen ungefähr 0,023 $ pro GB und Monat an – im Petabyte-Maßstab wird dieser Betrag beträchtlich. Die gute Nachricht: S3 bietet sieben Speicherklassen, die für unterschiedliche Zugriffshäufigkeiten optimiert sind. Die Preise reichen von 0,023 $/GB (Standard) bis 0,00099 $/GB (Glacier Deep Archive). Der Schlüssel zur S3-Kostenoptimierung besteht darin, Ihre Daten der passenden Speicherklasse zuzuordnen und Übergänge mithilfe von Lifecycle Policies zu automatisieren.

S3 Intelligent-Tiering verschiebt Objekte automatisch anhand des tatsächlichen Zugriffsmusters zwischen Zugriffsebenen – ohne Abrufgebühren und ohne Mindestaufbewahrungsdauer für die häufig genutzte Ebene. Der Zugriff auf Objekte wird auf Objektebene überwacht: Auf Objekte, auf die 30 Tage lang nicht zugegriffen wurde, werden sie in die Ebene für seltene Zugriffe verschoben (40 % günstiger), nach 90 Tagen in die Archive-Instant-Ebene (68 % günstiger). Es fällt eine geringe monatliche Überwachungsgebühr an (0,0025 $ pro 1.000 Objekte). Verwenden Sie Intelligent-Tiering, wenn sich Zugriffsmuster nicht vorhersagen lassen oder wenn sich häufig und selten genutzte Daten im selben Bucket befinden.

S3-Lifecycle-Regeln automatisieren das Verschieben und Löschen von Objekten abhängig von deren Alter. Sie definieren Regeln anhand eines Präfixes oder Tags und legen anschließend Übergänge ab bestimmten Tagesgrenzen fest. Ein typischer Lifecycle für die Archivierung: Standard → Standard-IA (30 Tage) → Glacier Instant Retrieval (90 Tage) → Deep Archive (365 Tage) → Löschen (2555 Tage). Dadurch lassen sich die Speicherkosten pro GB im Laufe der Zeit von 0,023 $ auf 0,00099 $ senken – eine Reduzierung um 95 % bei Archivdaten. Für Lifecycle-Übergänge gilt eine Mindestobjektgröße von 128 KB für IA und Glacier (bei kleineren Objekten ist ein Übergang nicht kosteneffizient).

S3 Select ermöglicht es Ihnen, mithilfe von SQL-Ausdrücken nur die benötigten Daten aus einem S3-Objekt abzurufen, anstatt das gesamte Objekt herunterzuladen. Bei einer 10-GB-CSV-Datei, aus der Sie nur 100 Zeilen benötigen, kann S3 Select ausschließlich diese Zeilen abrufen – dadurch werden Datenübertragungskosten und die Verarbeitungszeit der Anwendung erheblich reduziert. Glacier Select bietet dieselbe Funktion für Objekte in Glacier. S3 Select unterstützt die Formate CSV, JSON und Parquet. Das ist besonders in Datenanalyse-Pipelines hilfreich, in denen viele Abfragen nur auf eine Teilmenge jeder Datendatei zugreifen.

Beim Upload großer Objekte teilt S3 Multipart Upload Objekte in Teile auf (mindestens 5 MB pro Teil), die parallel hochgeladen werden. Das verbessert den Durchsatz und ermöglicht fortsetzbare Uploads. Fehlgeschlagene Teile können erneut übertragen werden, ohne den gesamten Upload neu zu starten. Löschen Sie unvollständige Multipart Uploads mithilfe von Lifecycle-Regeln, damit Ihnen die unvollständigen Teile nicht in Rechnung gestellt werden. S3 Transfer Acceleration leitet Uploads über AWS-CloudFront-Edge-Standorte, um Uploads von weit entfernten Standorten zu beschleunigen. Das ist für Nutzer hilfreich, die weltweit große Dateien hochladen, verursacht jedoch zusätzliche Kosten (0,04–0,08 $/GB). Verwenden Sie die Beschleunigung nur, wenn sie eine messbare Verbesserung bringt.

Datenübertragungskosten gehören zu den überraschendsten Positionen auf AWS-Rechnungen. Die wichtigsten Regeln: Eingehende Datenübertragung (zu AWS) ist kostenlos. Ausgehende Datenübertragung ins Internet kostet ungefähr 0,09 $/GB (für die ersten 10 TB/Monat). Datenübertragung zwischen Regionen kostet ungefähr 0,02 $/GB. Datenübertragung zwischen Availability Zones innerhalb derselben Region kostet 0,01 $/GB je Richtung. Innerhalb derselben Availability Zone ist sie kostenlos. Entwerfen Sie Architekturen so, dass Datenübertragungen zwischen Regionen und ins Internet minimiert werden – deshalb sind regionale Deployments und CloudFront für eine kosteneffiziente Bereitstellung von Inhalten so wichtig.

Die Bereitstellung von Inhalten über Amazon CloudFront senkt die Datenübertragungskosten auf zwei Arten erheblich. Erstens berechnet CloudFront niedrigere Egress-Tarife als der direkte Internetzugriff über EC2 oder S3 (etwa 0,0085 $/GB gegenüber 0,09 $/GB). Zweitens cached CloudFront Inhalte an Edge-Standorten. Dadurch wird die Anzahl der Abrufe von Ihrem Origin reduziert – derselbe Inhalt kann möglicherweise millionenfach aus dem Cache bereitgestellt werden, obwohl nur ein einziger Abruf beim Origin erforderlich ist. Die Datenübertragung von S3 zu CloudFront ist ebenfalls kostenlos. Damit ist CloudFront nicht nur ein Werkzeug zur Leistungssteigerung, sondern auch zur Kostenoptimierung.

Die Gebühren für die Datenverarbeitung durch ein NAT Gateway (0,045 $/GB) können beträchtlich werden, wenn EC2-Instances in privaten Subnetzen häufig auf S3 oder DynamoDB zugreifen. Verwenden Sie stattdessen VPC Gateway Endpoints für S3 und DynamoDB. Diese leiten den Datenverkehr über das AWS-Netzwerk-Backbone und sind kostenlos; außerdem benötigen Sie für diese Services kein NAT Gateway. Zusätzlich vermeiden VPC Interface Endpoints (PrivateLink) für andere AWS-Services die Datenverarbeitungsgebühren des NAT Gateway für den Datenverkehr dieser Services. Für die Interface Endpoints selbst fällt jedoch eine geringe Stundenpauschale an.

S3 berechnet Gebühren sowohl pro API-Anfrage als auch pro gespeichertem GB. PUT, COPY, POST, LIST-Anfragen kosten 0,005 $ pro 1.000 Anfragen; GET, SELECT-Anfragen kosten 0,0004 $ pro 1.000 Anfragen. Bei Anwendungen mit Millionen von Anfragen summieren sich diese Kosten. Optimieren Sie Ihre Nutzung, indem Sie: kleine Objekte zu größeren bündeln (weniger Anfragen), CloudFront zur Bereitstellung gecachter Antworten verwenden (reduziert GET-Anfragen an den Origin), List-Operationen nach Möglichkeit vermeiden (LIST ist teuer) und S3 Batch Operations für Massenoperationen statt Millionen einzelner API-Aufrufe verwenden.

Für groß angelegte Datenübertragungen zwischen lokalen Rechenzentren und AWS oder zwischen AWS-Services ist AWS DataSync kosteneffizienter als selbst entwickelter Übertragungscode. DataSync verwendet ein speziell für diesen Zweck entwickeltes Protokoll, das bis zu zehnmal den Durchsatz von Open-Source-Tools erreicht, und umfasst integrierte Datenvalidierung, Zeitplanung und Überwachung. Für die Übertragung von Daten über DataSync zu S3, EFS oder FSx gelten die regulären AWS-Tarife für Datenübertragungen. Die Effizienz von DataSync sorgt jedoch dafür, dass Übertragungen schneller abgeschlossen werden, wodurch die benötigte EC2-Rechenzeit (und damit die Kosten) für umfangreiche Migrationen sinkt.

Amazon S3 Storage Lens bietet organisationsweite Transparenz über die S3-Speichernutzung und Aktivitätsmetriken in allen Konten und Regionen. Der Service zeigt Möglichkeiten zur Kostenoptimierung auf, beispielsweise Buckets ohne Lifecycle-Regeln, Buckets mit unvollständigen Multipart Uploads oder die Verteilung auf Speicherklassen. Das Standard-Dashboard von S3 Storage Lens ist kostenlos; das Dashboard mit erweiterten Metriken (0,20 $/Million Objekte) ergänzt eine detaillierte Analyse nach Präfix und Metriken zum Datenalter. Verwenden Sie Storage Lens als Ausgangspunkt für jede S3-Kostenoptimierung, um die Buckets mit dem größten Optimierungspotenzial zu identifizieren.

Testen Sie Ihr Verständnis der Konzepte aus dieser Lektion für die AWS Solutions Architect-Zertifizierung (SAA-C03).

In dieser Lektion haben Sie gelernt: S3 Intelligent-Tiering und Lifecycle-Regeln senken die Speicherkosten, indem sie Daten automatisch in günstigere Speicherklassen verschieben, CloudFront reduziert die Datenübertragungskosten im Vergleich zur direkten Bereitstellung über S3 oder EC2 erheblich, und VPC Gateway Endpoints beseitigen NAT-Gateway-Gebühren für Datenverkehr zu S3 und DynamoDB. S3 Storage Lens bietet Transparenz über Optimierungsmöglichkeiten. Als Nächstes befassen wir uns mit KMS, ACM und Verschlüsselungsmustern.