SQS-Standard- vs. FIFO-Queues

Nachrichtenwarteschlangen entkoppeln Produzenten von Konsumenten: Ein Produzent sendet eine Nachricht an die Warteschlange, ohne darauf zu warten, dass ein Konsument sie verarbeitet. Der Konsument verarbeitet Nachrichten in seinem eigenen Tempo. Dieses Muster verhindert, dass schnelle Produzenten langsame Konsumenten überlasten, ermöglicht die unabhängige Skalierung jeder Ebene und stellt einen dauerhaften Puffer bereit, falls der Konsument vorübergehend nicht verfügbar ist. Amazon SQS ist der vollständig verwaltete, hochverfügbare Nachrichtenwarteschlangendienst von AWS.

Standardwarteschlangen bieten unbegrenzten Durchsatz (nahezu unbegrenzt viele Transaktionen pro Sekunde). Sie garantieren die Zustellung mindestens einmal – in seltenen Fällen kann eine Nachricht aufgrund der verteilten Infrastruktur mehr als einmal zugestellt werden. Die Nachrichtenreihenfolge wird nach dem Best-Effort-Prinzip behandelt: Nachrichten werden im Allgemeinen in der Reihenfolge ihrer Übermittlung zugestellt, dies ist jedoch nicht garantiert. Standardwarteschlangen eignen sich ideal, wenn der Durchsatz entscheidend ist und Ihr Konsument gelegentliche Duplikate sowie eine Zustellung außerhalb der Reihenfolge verarbeiten kann.

FIFO-Warteschlangen (First-In, First-Out) garantieren eine Verarbeitung genau einmal und eine strikte Nachrichtenreihenfolge. Nachrichten werden exakt in der Reihenfolge zugestellt, in der sie gesendet wurden. FIFO-Warteschlangen unterstützen bis zu 300 Transaktionen pro Sekunde (3.000 mit Batching). Die Namen von FIFO-Warteschlangen müssen mit .fifo enden. Verwenden Sie FIFO-Warteschlangen, wenn die Reihenfolge und die Semantik der Verarbeitung genau einmal entscheidend sind – etwa bei Finanztransaktionen, der Verarbeitung von E-Commerce-Bestellungen oder Bestandsaktualisierungen.

FIFO-Warteschlangen verwenden Message Group IDs, um die Reihenfolge innerhalb der Warteschlange zu partitionieren. Nachrichten mit derselben Group ID werden in der richtigen Reihenfolge zugestellt; Nachrichten mit unterschiedlichen Group IDs können parallel verarbeitet werden. Verwenden Sie beispielsweise customerId als Group ID: Die Bestellungen jedes Kunden werden sequenziell verarbeitet, während die Bestellungen verschiedener Kunden gleichzeitig verarbeitet werden. Dadurch lassen sich FIFO-Semantik und horizontale Skalierbarkeit über mehrere Konsumenten hinweg kombinieren.

FIFO-Warteschlangen verhindern die doppelte Verarbeitung von Nachrichten mithilfe einer Deduplizierungs-ID. Werden innerhalb eines Deduplizierungsintervalls von 5 Minuten zwei Nachrichten mit derselben ID gesendet, wird die zweite stillschweigend verworfen. Sie können eine Deduplizierungs-ID explizit angeben (MessageDeduplicationId) oder die inhaltsbasierte Deduplizierung aktivieren. Dabei berechnet SQS automatisch einen SHA-256-Hash des Nachrichteninhalts und verwendet ihn als Deduplizierungs-ID. Die inhaltsbasierte Deduplizierung ist einfacher, setzt jedoch eindeutige Nachrichteninhalte voraus.

SQS bewahrt Nachrichten für einen konfigurierbaren Zeitraum auf: mindestens 1 Minute, höchstens 14 Tage (Standard: 4 Tage). Nachrichten, die innerhalb dieses Zeitraums nicht abgerufen werden, werden automatisch gelöscht. Die maximale Nachrichtengröße beträgt 256 KB. Für größere Nutzdaten verwenden Sie die SQS Extended Client Library oder speichern Sie die Nutzdaten in S3 und senden Sie in der SQS-Nachricht nur die Referenz auf das S3-Objekt. Für Standard- und FIFO-Warteschlangen gelten dieselben Limits.

Konsumenten fragen die Warteschlange mit receive-message ab. Nach dem Empfang wird die Nachricht für den Zeitraum des Visibility Timeout unsichtbar (sie ist für andere Konsumenten verborgen). Der Konsument muss die Nachricht verarbeiten und sie anschließend mithilfe des Receipt Handles explizit löschen, bevor das Timeout abläuft. Wenn der Konsument abstürzt oder die Nachricht nicht rechtzeitig löscht, wird sie erneut sichtbar und kann von einem anderen Konsumenten verarbeitet werden – dadurch wird die Zustellung mindestens einmal in Standardwarteschlangen ermöglicht.

Standardwarteschlangen eignen sich für: die Erstellung von Vorschaubildern, den Versand von Benachrichtigungs-E-Mails und die Protokollverarbeitung – also für Workloads, bei denen Duplikate idempotent verarbeitet werden können und die Reihenfolge keine Rolle spielt. FIFO-Warteschlangen sind erforderlich für: die Verarbeitung von Banküberweisungen (Belastung vor Gutschrift), die Aktualisierung von E-Commerce-Warenkörben (Artikel hinzufügen vor dem Checkout) sowie Workflow-Schritte, bei denen Schritt 2 auf Schritt 1 folgen muss. Für die meisten Architekturen mit hohem Durchsatz sind Standardwarteschlangen die Standardwahl. Wechseln Sie nur dann zu FIFO, wenn die Reihenfolge oder die Zustellung genau einmal zwingend erforderlich ist.

SQS berechnet Gebühren pro API-Anfrage. Verwenden Sie Batch-Operationen, um bis zu 10 Nachrichten pro API-Aufruf zu senden, zu empfangen und zu löschen und dadurch die Kosten um bis zu das Zehnfache zu senken. FIFO-Warteschlangen unterstützen einen Modus für hohen Durchsatz (der Batching ermöglicht), wodurch das Limit mit Batches von 10 auf 3.000 Nachrichten pro Sekunde steigt. Verwenden Sie in Produktionsumgebungen immer send-message-batch und delete-message-batch, um die Kosten für API-Aufrufe zu minimieren.

SQS-Warteschlangen werden durch ressourcenbasierte Richtlinien (Warteschlangenrichtlinien) geschützt, die steuern, wer Nachrichten an die Warteschlange senden oder daraus empfangen darf. Das ist entscheidend, wenn kontoübergreifender Zugriff ermöglicht wird oder wenn SNS Nachrichten an eine SQS-Warteschlange veröffentlicht. Der Zugriff von Lambda auf SQS wird durch die IAM-Richtlinie der Lambda-Ausführungsrolle gesteuert (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Wenden Sie stets das Prinzip der geringsten Berechtigungen an: Geben Sie einem Konsumenten nicht mehr Berechtigungen als zum Empfangen und Löschen erforderlich.

Stellen Sie sich zur Auswahl folgende Fragen: (1) Spielt die Reihenfolge eine Rolle? Wenn ja → FIFO. (2) Ist eine Verarbeitung genau einmal erforderlich? Wenn ja → FIFO. (3) Wird ein Durchsatz von mehr als 3.000 TPS benötigt? Wenn ja → Standard (FIFO ist mit Batching auf 3.000 TPS begrenzt). (4) Können Konsumenten mit Duplikaten umgehen? Wenn ja → Standard ist einfacher und günstiger. Für die SAA-C03-Prüfung lauten die Schlüsselwörter für FIFO: „ordering“, „exactly-once“, „sequential“, „deduplication“. Schlüsselwörter für Standard sind: „high throughput“, „best effort“, „at-least-once“.

Testen Sie Ihr Verständnis der AWS-Solutions-Architect-Konzepte (SAA-C03) aus dieser Lektion.

In dieser Lektion haben Sie gelernt: Standardwarteschlangen bieten unbegrenzten Durchsatz, Zustellung mindestens einmal und eine Nachrichtenreihenfolge nach dem Best-Effort-Prinzip. Sie eignen sich für Workloads mit hohem Volumen, die Duplikate tolerieren können. FIFO-Warteschlangen garantieren mithilfe von Message Group IDs und Deduplizierungs-IDs eine Verarbeitung genau einmal sowie eine strikte Nachrichtenreihenfolge und sind mit Batching auf 3.000 TPS begrenzt. Die Wahl zwischen beiden hängt davon ab, ob Reihenfolge und Deduplizierung zwingend erforderlich sind. Als Nächstes behandeln wir den Visibility Timeout, Dead-Letter-Warteschlangen und Long Polling.