SQS Standard- vs FIFO-køer

Meddelelseskøer afkobler producenter fra forbrugere: En producent sender en meddelelse til køen uden at vente på, at en forbruger behandler den. Forbrugeren behandler meddelelserne i sit eget tempo. Dette mønster forhindrer hurtige producenter i at overbelaste langsomme forbrugere, muliggør uafhængig skalering af hvert lag og giver en holdbar buffer, hvis forbrugeren midlertidigt ikke er tilgængelig. Amazon SQS er AWS's fuldt administrerede meddelelseskøtjeneste med høj tilgængelighed.

Standardkøer tilbyder ubegrænset gennemløb (næsten ubegrænset antal transaktioner pr. sekund). De garanterer levering mindst én gang—en meddelelse kan i sjældne tilfælde blive leveret mere end én gang (på grund af distribueret infrastruktur). Meddelelsesrækkefølgen følger bedst mulig indsats: Meddelelser leveres generelt i den rækkefølge, de blev sendt, men det er ikke garanteret. Standardkøer er ideelle, når gennemløb er afgørende, og din forbruger kan håndtere lejlighedsvise dubletter og levering i forkert rækkefølge.

FIFO-køer (First-In, First-Out) garanterer behandling præcis én gang og streng meddelelsesrækkefølge. Meddelelser leveres i nøjagtig den rækkefølge, de blev sendt i. FIFO-køer understøtter op til 300 transaktioner pr. sekund (3.000 med batching). Navne på FIFO-køer skal slutte med .fifo. Brug FIFO-køer, når rækkefølge og semantik for behandling præcis én gang er afgørende—f.eks. ved finansielle transaktioner, behandling af e-handelsordrer og lageropdateringer.

FIFO-køer bruger meddelelsesgruppe-id'er til at opdele rækkefølgen i køen. Meddelelser med det samme gruppe-id leveres i rækkefølge, mens meddelelser med forskellige gruppe-id'er kan behandles parallelt. Du kan f.eks. bruge customerId som gruppe-id: Hver kundes ordrer behandles sekventielt, mens forskellige kunders ordrer behandles samtidigt. Det giver FIFO-semantik med horisontal skalerbarhed på tværs af forbrugere.

FIFO-køer forhindrer behandling af duplikerede meddelelser ved hjælp af et deduplikerings-id. Hvis to meddelelser sendes med det samme id inden for et deduplikeringsinterval på 5 minutter, kasseres den anden lydløst. Du kan angive et deduplikerings-id eksplicit (MessageDeduplicationId) eller aktivere indholdsbaseret deduplicering, hvor SQS automatisk beregner en SHA-256-hash af meddelelsens brødtekst som deduplikerings-id. Indholdsbaseret deduplicering er enklere, men kræver entydige meddelelsesbrødtekster.

SQS opbevarer meddelelser i en konfigurerbar periode: mindst 1 minut og højst 14 dage (standardindstillingen er 4 dage). Meddelelser, der ikke er blevet forbrugt inden for opbevaringsperioden, slettes automatisk. Den maksimale meddelelsesstørrelse er 256 KB. Ved større nyttedata kan du bruge SQS Extended Client Library eller gemme nyttedataene i S3 og kun sende S3-objektreferencen i SQS-meddelelsen. Standard- og FIFO-køer har de samme grænser.

Forbrugere spørger køen med receive-message. Efter modtagelsen bliver meddelelsen usynlig (skjult for andre forbrugere) i perioden for synlighedstimeout. Forbrugeren skal behandle meddelelsen og derefter udtrykkeligt slette den ved hjælp af kvitteringsreferencen, før timeoutet udløber. Hvis forbrugeren går ned eller ikke sletter meddelelsen i tide, bliver den synlig igen, så en anden forbruger kan behandle den—hvilket muliggør levering mindst én gang i standardkøer.

Standardkøer egner sig til: generering af miniaturebilleder, udsendelse af e-mails med notifikationer og behandling af logge—arbejdsbelastninger, hvor dubletter kan håndteres idempotent, og rækkefølgen er ligegyldig. FIFO-køer er nødvendige til: behandling af bankoverførsler (debet før kredit), opdateringer af indkøbskurve i e-handel (tilføj vare før betaling) og arbejdsgangstrin, hvor trin 2 skal følge efter trin 1. I de fleste arkitekturer med højt gennemløb er standardkøer det naturlige valg; skift kun til FIFO, når rækkefølge eller levering præcis én gang er et ufravigeligt krav.

SQS opkræver betaling pr. API-anmodning. Brug batchhandlinger til at sende, modtage og slette op til 10 meddelelser pr. API-kald, så du kan reducere omkostningerne med op til 10 gange. FIFO-køer understøtter tilstanden for højt gennemløb (som aktiverer batching), hvilket hæver grænsen til 3.000 meddelelser pr. sekund med batching af 10. Brug altid send-message-batch og delete-message-batch i produktion for at minimere omkostningerne til API-kald.

SQS-køer sikres med ressourcebaserede politikker (køpolitikker), der styrer, hvem der må sende til eller modtage fra køen. Det er afgørende, når du tillader adgang på tværs af konti, eller når SNS publicerer til en SQS-kø. Lambdas adgang til SQS styres af IAM-politikken for Lambdas udførelsesrolle (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Anvend altid princippet om mindst mulige privilegier: Giv ikke en forbruger flere tilladelser end til at modtage og slette.

Stil dig selv disse spørgsmål for at vælge: (1) Er rækkefølgen vigtig? Hvis ja → FIFO. (2) Er behandling præcis én gang påkrævet? Hvis ja → FIFO. (3) Er der brug for et gennemløb på over 3.000 TPS? Hvis ja → Standard (FIFO er begrænset til 3.000 TPS med batching). (4) Kan forbrugere håndtere dubletter? Hvis ja → Standard er enklere og billigere. Til SAA-C03-eksamen er nøgleordene for FIFO: 'rækkefølge', 'præcis én gang', 'sekventiel', 'deduplicering'. Nøgleordene for Standard er: 'højt gennemløb', 'bedst mulig indsats', 'mindst én gang'.

I denne lektion har du lært: Standardkøer tilbyder ubegrænset gennemløb med levering mindst én gang og rækkefølge efter bedste indsats, hvilket egner sig til arbejdsbelastninger med store mængder, der kan tåle dubletter; FIFO-køer garanterer behandling præcis én gang og streng meddelelsesrækkefølge ved hjælp af meddelelsesgruppe-id'er og deduplikerings-id'er, med en grænse på 3.000 TPS med batching; og valget mellem dem afhænger af, om rækkefølge og deduplicering er ufravigelige krav. Næste gang ser vi på synlighedstimeout, køer til fejlslagne meddelelser og long polling.