Colas SQS Standard frente a FIFO

Las colas de mensajes desacoplan a los productores de los consumidores: un productor envía un mensaje a la cola sin esperar a que un consumidor lo procese. El consumidor procesa los mensajes a su propio ritmo. Este patrón evita que los productores rápidos saturen a los consumidores lentos, permite escalar cada nivel de forma independiente y proporciona un búfer persistente si el consumidor no está disponible temporalmente. Amazon SQS es el servicio de colas de mensajes totalmente administrado y de alta disponibilidad de AWS.

Las colas estándar ofrecen un rendimiento ilimitado (transacciones por segundo prácticamente ilimitadas). Garantizan la entrega al menos una vez: en casos excepcionales, un mensaje puede entregarse más de una vez (debido a la infraestructura distribuida). El orden de los mensajes se establece mediante el principio de mejor esfuerzo: por lo general, los mensajes se entregan en el orden en que se enviaron, pero no está garantizado. Las colas estándar son ideales cuando el rendimiento es fundamental y el consumidor puede gestionar duplicados ocasionales y entregas fuera de orden.

Las colas FIFO (First-In, First-Out) garantizan el procesamiento exactamente una vez y un orden estricto de los mensajes. Los mensajes se entregan exactamente en el orden en que se envían. Las colas FIFO admiten hasta 300 transacciones por segundo (3.000 con procesamiento por lotes). Los nombres de las colas FIFO deben terminar en .fifo. Use colas FIFO cuando el orden y la semántica de procesamiento exactamente una vez sean fundamentales: transacciones financieras, procesamiento de pedidos de comercio electrónico y actualizaciones de inventario.

Las colas FIFO utilizan identificadores de grupo de mensajes para dividir el orden dentro de la cola. Los mensajes con el mismo identificador de grupo se entregan en orden; los mensajes con identificadores de grupo diferentes pueden procesarse en paralelo. Por ejemplo, use customerId como identificador de grupo: los pedidos de cada cliente se procesan secuencialmente, mientras que los pedidos de clientes diferentes se procesan de forma simultánea. Esto permite aplicar la semántica FIFO con escalabilidad horizontal entre consumidores.

Las colas FIFO evitan el procesamiento duplicado de mensajes mediante un identificador de eliminación de duplicados. Si se envían dos mensajes con el mismo identificador dentro de un intervalo de eliminación de duplicados de 5 minutos, el segundo se descarta silenciosamente. Puede proporcionar explícitamente un identificador de eliminación de duplicados (MessageDeduplicationId) o activar la eliminación de duplicados basada en el contenido, en cuyo caso SQS calcula automáticamente un hash SHA-256 del cuerpo del mensaje para usarlo como identificador de eliminación de duplicados. La eliminación de duplicados basada en el contenido es más sencilla, pero requiere cuerpos de mensaje únicos.

SQS retiene los mensajes durante un período configurable: mínimo de 1 minuto y máximo de 14 días (4 días de forma predeterminada). Los mensajes que no se consumen dentro del período de retención se eliminan automáticamente. El tamaño máximo de un mensaje es de 256 KB. Para cargas útiles más grandes, use la SQS Extended Client Library o almacene la carga útil en S3 y envíe únicamente la referencia al objeto de S3 en el mensaje de SQS. Las colas estándar y FIFO comparten estos límites.

Los consumidores sondean la cola mediante receive-message. Después de recibirlo, el mensaje pasa a estar invisible (oculto para los demás consumidores) durante el período de tiempo de espera de visibilidad. El consumidor debe procesar el mensaje y después eliminarlo explícitamente mediante el identificador de recepción antes de que expire el tiempo de espera. Si el consumidor se bloquea o no lo elimina a tiempo, el mensaje vuelve a aparecer y otro consumidor puede procesarlo, lo que permite la entrega al menos una vez en las colas estándar.

Las colas estándar son adecuadas para generar miniaturas de imágenes, enviar correos electrónicos de notificación y procesar registros: cargas de trabajo en las que los duplicados pueden gestionarse de forma idempotente y el orden no importa. Las colas FIFO son necesarias para procesar transferencias bancarias (débito antes que crédito), actualizar carritos de comercio electrónico (añadir el artículo antes de finalizar la compra) y ejecutar pasos de flujos de trabajo en los que el paso 2 debe seguir al paso 1. En la mayoría de las arquitecturas de alto rendimiento, las colas estándar son la opción predeterminada; cambie a FIFO solo cuando el orden o la entrega exactamente una vez sean requisitos estrictos.

SQS cobra por cada solicitud a la API. Use operaciones por lotes para enviar, recibir y eliminar hasta 10 mensajes por llamada a la API, lo que reduce los costes hasta 10 veces. Las colas FIFO admiten el modo de alto rendimiento (que permite el procesamiento por lotes), con un límite de 3.000 mensajes por segundo mediante lotes de 10. En producción, use siempre send-message-batch y delete-message-batch para minimizar los costes de las llamadas a la API.

Las colas de SQS se protegen mediante políticas basadas en recursos (políticas de cola) que controlan quién puede enviar mensajes a la cola o recibirlos de ella. Esto es fundamental cuando se permite el acceso entre cuentas o cuando SNS publica en una cola de SQS. El acceso de Lambda a SQS se controla mediante la política de IAM del rol de ejecución de Lambda (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Aplique siempre el principio de mínimo privilegio: no conceda a un consumidor más permisos que los necesarios para recibir y eliminar mensajes.

Plantéese estas preguntas para elegir: (1) ¿Importa el orden? Si es así → FIFO. (2) ¿Se requiere un procesamiento exactamente una vez? Si es así → FIFO. (3) ¿Se necesita un rendimiento superior a 3.000 TPS? Si es así → Standard (FIFO tiene un límite de 3.000 TPS con procesamiento por lotes). (4) ¿Los consumidores pueden gestionar duplicados? Si es así → Standard es más sencilla y económica. Para el examen SAA-C03, las palabras clave de FIFO son: 'ordering', 'exactly-once', 'sequential', 'deduplication'. Las palabras clave de Standard son: 'high throughput', 'best effort', 'at-least-once'.

Compruebe su comprensión de los conceptos de AWS Solutions Architect (SAA-C03) de esta lección.

En esta lección ha aprendido que las colas estándar ofrecen un rendimiento ilimitado, entrega al menos una vez y ordenación basada en el mejor esfuerzo, por lo que son adecuadas para cargas de trabajo de gran volumen que toleran duplicados; las colas FIFO garantizan un procesamiento exactamente una vez y un orden estricto de los mensajes mediante identificadores de grupo de mensajes e identificadores de eliminación de duplicados, con un límite de 3.000 TPS mediante procesamiento por lotes; y la elección entre ambas depende de si el orden y la eliminación de duplicados son requisitos estrictos. A continuación, exploraremos el tiempo de espera de visibilidad, las colas de mensajes no entregados y el sondeo largo.