Kolejki SQS Standard a FIFO

Kolejki komunikatów oddzielają producentów od konsumentów: producent wysyła komunikat do kolejki, nie czekając, aż konsument go przetworzy. Konsument przetwarza komunikaty we własnym tempie. Ten wzorzec zapobiega przeciążeniu wolnych konsumentów przez szybkich producentów, umożliwia niezależne skalowanie poszczególnych warstw i zapewnia trwały bufor na wypadek tymczasowej niedostępności konsumenta. Amazon SQS to w pełni zarządzana, wysoce dostępna usługa kolejkowania komunikatów AWS.

Kolejki standardowe oferują nieograniczoną przepustowość (niemal nieograniczoną liczbę transakcji na sekundę). Gwarantują dostarczenie co najmniej raz — w rzadkich przypadkach komunikat może zostać dostarczony więcej niż raz (ze względu na rozproszoną infrastrukturę). Kolejność komunikatów jest zapewniana w ramach best effort: komunikaty są zazwyczaj dostarczane w kolejności wysłania, ale nie jest to gwarantowane. Kolejki standardowe są idealne, gdy kluczowa jest przepustowość, a konsument może obsługiwać sporadyczne duplikaty i dostarczanie komunikatów poza kolejnością.

Kolejki FIFO (First-In, First-Out) gwarantują przetwarzanie dokładnie raz oraz ścisłe zachowanie kolejności komunikatów. Komunikaty są dostarczane dokładnie w kolejności, w której zostały wysłane. Kolejki FIFO obsługują do 300 transakcji na sekundę (3000 w przypadku grupowania). Nazwy kolejek FIFO muszą kończyć się ciągiem .fifo. Kolejek FIFO należy używać, gdy kolejność i semantyka przetwarzania dokładnie raz mają kluczowe znaczenie — na przykład w przypadku transakcji finansowych, przetwarzania zamówień w handlu elektronicznym czy aktualizacji stanów magazynowych.

Kolejki FIFO używają identyfikatorów grup komunikatów do podziału kolejki na sekcje z zachowaniem kolejności. Komunikaty z tym samym identyfikatorem grupy są dostarczane w kolejności, natomiast komunikaty z różnymi identyfikatorami grup mogą być przetwarzane równolegle. Na przykład jako identyfikatora grupy można użyć customerId: zamówienia każdego klienta są przetwarzane sekwencyjnie, ale zamówienia różnych klientów — współbieżnie. Umożliwia to zachowanie semantyki FIFO przy poziomym skalowaniu między konsumentami.

Kolejki FIFO zapobiegają wielokrotnemu przetwarzaniu komunikatów za pomocą identyfikatora usuwania duplikatów. Jeśli w ciągu 5-minutowego okresu deduplikacji zostaną wysłane dwa komunikaty z tym samym identyfikatorem, drugi zostanie po cichu odrzucony. Identyfikator usuwania duplikatów można podać jawnie (MessageDeduplicationId) albo włączyć deduplikację na podstawie treści, w ramach której SQS automatycznie oblicza skrót SHA-256 treści komunikatu i używa go jako identyfikatora usuwania duplikatów. Deduplikacja na podstawie treści jest prostsza, ale wymaga unikatowych treści komunikatów.

SQS przechowuje komunikaty przez konfigurowalny okres: minimalnie 1 minutę, maksymalnie 14 dni (domyślnie 4 dni). Komunikaty, które nie zostaną odebrane w okresie przechowywania, są automatycznie usuwane. Maksymalny rozmiar komunikatu wynosi 256 KB. W przypadku większych ładunków należy użyć SQS Extended Client Library albo przechować ładunek w S3 i wysłać w komunikacie SQS tylko odwołanie do obiektu S3. Limity te dotyczą zarówno kolejek standardowych, jak i FIFO.

Konsumenci odpytują kolejkę za pomocą receive-message. Po odebraniu komunikat staje się niewidoczny (ukryty przed innymi konsumentami) na czas trwania limitu czasu widoczności. Konsument musi przetworzyć komunikat, a następnie jawnie go usunąć za pomocą uchwytu potwierdzenia przed upływem tego limitu. Jeśli konsument ulegnie awarii albo nie usunie komunikatu na czas, komunikat pojawi się ponownie i będzie mógł zostać przetworzony przez innego konsumenta — umożliwia to dostarczanie co najmniej raz w kolejkach standardowych.

Kolejki standardowe nadają się do: generowania miniatur obrazów, wysyłania wiadomości e-mail z powiadomieniami oraz przetwarzania logów — czyli obciążeń, w których duplikaty można obsłużyć idempotentnie, a kolejność nie ma znaczenia. Kolejki FIFO są wymagane w przypadku: przetwarzania przelewów bankowych (obciążenie przed uznaniem), aktualizacji koszyka w handlu elektronicznym (dodanie produktu przed realizacją zamówienia) oraz etapów przepływu pracy, w których etap 2 musi nastąpić po etapie 1. W większości architektur o dużej przepustowości domyślnym wyborem są kolejki standardowe; na FIFO należy przechodzić tylko wtedy, gdy kolejność lub dostarczenie dokładnie raz jest bezwzględnym wymaganiem.

SQS nalicza opłaty za każde żądanie API. Należy używać operacji grupowych do wysyłania, odbierania i usuwania maksymalnie 10 komunikatów w jednym wywołaniu API, co pozwala zmniejszyć koszty nawet 10-krotnie. Kolejki FIFO obsługują tryb wysokiej przepustowości (włączający grupowanie), który podnosi limit do 3000 komunikatów na sekundę przy grupowaniu po 10 komunikatów. W środowisku produkcyjnym należy zawsze używać send-message-batch i delete-message-batch, aby minimalizować koszty wywołań API.

Kolejki SQS są zabezpieczane za pomocą zasad opartych na zasobach (zasad kolejek), które określają, kto może wysyłać komunikaty do kolejki i kto może je z niej odbierać. Ma to kluczowe znaczenie w przypadku dostępu między kontami oraz publikowania przez SNS do kolejki SQS. Dostęp Lambda do SQS jest kontrolowany przez zasady IAM roli wykonawczej Lambda (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Należy zawsze stosować zasadę najmniejszych uprawnień: konsumentowi nie należy przyznawać uprawnień wykraczających poza odbieranie i usuwanie komunikatów.

Aby dokonać wyboru, należy odpowiedzieć na następujące pytania: (1) Czy kolejność ma znaczenie? Jeśli tak → FIFO. (2) Czy wymagane jest przetwarzanie dokładnie raz? Jeśli tak → FIFO. (3) Czy potrzebna jest przepustowość większa niż 3000 TPS? Jeśli tak → Standard (FIFO ma limit 3000 TPS przy grupowaniu). (4) Czy konsumenci mogą obsługiwać duplikaty? Jeśli tak → Standard jest prostsze i tańsze. Na egzaminie SAA-C03 słowa kluczowe dla FIFO to: „ordering”, „exactly-once”, „sequential”, „deduplication”. Słowa kluczowe dla Standard to: „high throughput”, „best effort”, „at-least-once”.

Sprawdź swoją znajomość zagadnień AWS Solutions Architect (SAA-C03) omówionych w tej lekcji.

W tej lekcji poznali Państwo: kolejki standardowe oferują nieograniczoną przepustowość, dostarczanie co najmniej raz i kolejność zapewnianą w ramach best effort, dzięki czemu nadają się do obciążeń o dużym wolumenie, które tolerują duplikaty; kolejki FIFO gwarantują przetwarzanie dokładnie raz i ścisłe zachowanie kolejności komunikatów za pomocą identyfikatorów grup komunikatów oraz identyfikatorów usuwania duplikatów, a ich limit wynosi 3000 TPS przy grupowaniu; wybór między nimi zależy od tego, czy zachowanie kolejności i deduplikacja są bezwzględnymi wymaganiami. W następnej części omówimy limit czasu widoczności, kolejki obsługi komunikatów zatrutych oraz długie odpytywanie.