Filas SQS Standard versus FIFO

As filas de mensagens desacoplam produtores e consumidores: um produtor envia uma mensagem para a fila sem esperar que um consumidor a processe. O consumidor processa as mensagens no próprio ritmo. Esse padrão impede que produtores rápidos sobrecarreguem consumidores lentos, permite o dimensionamento independente de cada camada e oferece um buffer durável caso o consumidor fique temporariamente indisponível. O Amazon SQS é um serviço de filas de mensagens totalmente gerenciado e altamente disponível da AWS.

As filas Standard oferecem vazão ilimitada (transações por segundo praticamente ilimitadas). Elas garantem a entrega pelo menos uma vez — em casos raros, uma mensagem pode ser entregue mais de uma vez (devido à infraestrutura distribuída). A ordem das mensagens segue o princípio do melhor esforço: em geral, as mensagens são entregues na ordem em que foram enviadas, mas isso não é garantido. As filas Standard são ideais quando a vazão é fundamental e o consumidor consegue lidar com duplicatas ocasionais e entregas fora de ordem.

As filas FIFO (First-In, First-Out) garantem o processamento exatamente uma vez e a ordenação rigorosa das mensagens. As mensagens são entregues exatamente na ordem em que são enviadas. As filas FIFO oferecem suporte a até 300 transações por segundo (3.000 com agrupamento). Os nomes das filas FIFO devem terminar com .fifo. Use filas FIFO quando a ordem e a semântica de processamento exatamente uma vez forem fundamentais — por exemplo, em transações financeiras, no processamento de pedidos de comércio eletrônico e em atualizações de estoque.

As filas FIFO usam IDs de grupo de mensagens para particionar a ordenação dentro da fila. As mensagens com o mesmo ID de grupo são entregues em ordem; as mensagens com IDs de grupo diferentes podem ser processadas em paralelo. Por exemplo, use customerId como ID de grupo: os pedidos de cada cliente são processados em sequência, mas os pedidos de clientes diferentes são processados simultaneamente. Isso permite a semântica FIFO com escalabilidade horizontal entre os consumidores.

As filas FIFO evitam o processamento duplicado de mensagens usando um ID de deduplicação. Se duas mensagens forem enviadas com o mesmo ID dentro de um intervalo de deduplicação de 5 minutos, a segunda será descartada silenciosamente. Você pode fornecer explicitamente um ID de deduplicação (MessageDeduplicationId) ou ativar a deduplicação baseada no conteúdo, na qual o SQS calcula automaticamente um hash SHA-256 do corpo da mensagem para usá-lo como ID de deduplicação. A deduplicação baseada no conteúdo é mais simples, mas exige corpos de mensagem exclusivos.

O SQS retém as mensagens por um período configurável: mínimo de 1 minuto e máximo de 14 dias (o padrão é 4 dias). As mensagens que não forem consumidas dentro do período de retenção serão excluídas automaticamente. O tamanho máximo da mensagem é de 256 KB. Para cargas úteis maiores, use a Biblioteca de cliente estendido do SQS ou armazene a carga útil no S3 e envie apenas a referência ao objeto do S3 na mensagem do SQS. As filas Standard e FIFO compartilham esses limites.

Os consumidores consultam a fila usando receive-message. Depois de recebida, a mensagem fica invisível (oculta para os outros consumidores) durante o período do tempo limite de visibilidade. O consumidor deve processar a mensagem e depois excluí-la explicitamente usando o identificador de recibo antes que o tempo limite expire. Se o consumidor falhar ou não a excluir a tempo, a mensagem reaparecerá e outro consumidor poderá processá-la, permitindo a entrega pelo menos uma vez nas filas Standard.

As filas Standard são adequadas para: geração de miniaturas de imagens, envio de e-mails de notificação e processamento de registros — cargas de trabalho nas quais as duplicatas podem ser tratadas de forma idempotente e a ordem não é importante. As filas FIFO são necessárias para: processamento de transferências bancárias (débito antes do crédito), atualizações do carrinho de compras de comércio eletrônico (adicionar o item antes da finalização da compra) e etapas de fluxo de trabalho em que a etapa 2 deve seguir a etapa 1. Na maioria das arquiteturas de alta vazão, as filas Standard são a escolha padrão; mude para FIFO somente quando a ordenação ou a entrega exatamente uma vez for um requisito obrigatório.

O SQS cobra por solicitação de API. Use operações em lote para enviar, receber e excluir até 10 mensagens por chamada de API, reduzindo os custos em até 10 vezes. As filas FIFO oferecem suporte ao modo de alta vazão (que ativa o agrupamento), elevando o limite para 3.000 mensagens por segundo com agrupamentos de 10. Em produção, use sempre send-message-batch e delete-message-batch para minimizar os custos das chamadas de API.

As filas do SQS são protegidas por políticas baseadas em recursos (políticas da fila), que controlam quem pode enviar mensagens para a fila ou recebê-las dela. Isso é fundamental ao permitir acesso entre contas ou quando o SNS publica em uma fila do SQS. O acesso do Lambda ao SQS é controlado pela política do IAM da função de execução do Lambda (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Sempre aplique o princípio do menor privilégio: não conceda a um consumidor mais permissões do que as necessárias para receber e excluir mensagens.

Faça estas perguntas para escolher: (1) A ordem é importante? Se sim → FIFO. (2) O processamento exatamente uma vez é necessário? Se sim → FIFO. (3) É necessária uma vazão superior a 3.000 TPS? Se sim → Standard (o FIFO é limitado a 3.000 TPS com agrupamento). (4) Os consumidores conseguem lidar com duplicatas? Se sim → Standard é mais simples e barato. Para a prova SAA-C03, as palavras-chave de FIFO são: 'ordenação', 'exatamente uma vez', 'sequencial', 'deduplicação'. As palavras-chave de Standard são: 'alta vazão', 'melhor esforço', 'pelo menos uma vez'.

Teste sua compreensão dos conceitos do AWS Solutions Architect (SAA-C03) abordados nesta lição.

Nesta lição, você aprendeu que: as filas Standard oferecem vazão ilimitada, entrega pelo menos uma vez e ordenação pelo melhor esforço, sendo adequadas para cargas de trabalho de alto volume que toleram duplicatas; as filas FIFO garantem processamento exatamente uma vez e ordenação rigorosa das mensagens usando IDs de grupo de mensagens e IDs de deduplicação, com limite de 3.000 TPS com agrupamento; e a escolha entre elas depende de a ordenação e a deduplicação serem requisitos obrigatórios. A seguir, exploraremos o tempo limite de visibilidade, as filas de mensagens não entregues e a consulta prolongada.