Очереди SQS Standard и FIFO

Очереди сообщений разделяют производителей и потребителей: производитель отправляет сообщение в очередь, не дожидаясь, пока потребитель его обработает. Потребитель обрабатывает сообщения в своём темпе. Этот шаблон не позволяет быстрым производителям перегружать медленных потребителей, обеспечивает независимое масштабирование каждого уровня и предоставляет надёжный буфер, если потребитель временно недоступен. Amazon SQS — это полностью управляемый сервис очередей сообщений AWS с высокой доступностью.

Стандартные очереди обеспечивают неограниченную пропускную способность (почти неограниченное число операций в секунду). Они гарантируют доставку как минимум один раз — в редких случаях сообщение может быть доставлено более одного раза из-за распределённой инфраструктуры. Порядок сообщений обеспечивается по возможности: обычно сообщения доставляются в порядке отправки, но это не гарантируется. Стандартные очереди идеально подходят, когда пропускная способность критична, а потребитель может обрабатывать периодические дубликаты и сообщения, поступившие не по порядку.

Очереди FIFO (сначала поступившее — первым обработано) гарантируют обработку ровно один раз и строгий порядок сообщений. Сообщения доставляются точно в том порядке, в котором они были отправлены. Очереди FIFO поддерживают до 300 операций в секунду (до 3 000 при пакетной обработке). Имена очередей FIFO должны заканчиваться на .fifo. Используйте очереди FIFO, когда порядок и семантика обработки ровно один раз критичны: например, для финансовых операций, обработки заказов в электронной коммерции и обновления запасов.

Очереди FIFO используют идентификаторы групп сообщений, чтобы разделять порядок обработки внутри очереди. Сообщения с одним и тем же идентификатором группы доставляются по порядку, а сообщения с разными идентификаторами групп могут обрабатываться параллельно. Например, используйте customerId в качестве идентификатора группы: заказы каждого клиента обрабатываются последовательно, а заказы разных клиентов — одновременно. Это обеспечивает семантику FIFO и горизонтальное масштабирование между потребителями.

Очереди FIFO предотвращают повторную обработку сообщений с помощью идентификатора устранения дубликатов. Если два сообщения отправлены с одним и тем же идентификатором в течение 5-минутного интервала устранения дубликатов, второе сообщение молча отбрасывается. Вы можете явно указать идентификатор устранения дубликатов (MessageDeduplicationId) или включить устранение дубликатов на основе содержимого, при котором SQS автоматически вычисляет хеш SHA-256 тела сообщения и использует его как идентификатор устранения дубликатов. Устранение дубликатов на основе содержимого проще, но требует уникального содержимого сообщений.

SQS хранит сообщения в течение настраиваемого периода: минимум 1 минута, максимум 14 дней (по умолчанию — 4 дня). Сообщения, не обработанные в течение этого периода, удаляются автоматически. Максимальный размер сообщения — 256 KB. Для более крупных данных используйте расширенную клиентскую библиотеку SQS или храните данные в S3, отправляя в сообщении SQS только ссылку на объект S3. На стандартные очереди и очереди FIFO распространяются одинаковые ограничения.

Потребители опрашивают очередь с помощью receive-message. После получения сообщение становится невидимым (скрывается от других потребителей) на период, заданный временем ожидания видимости. Потребитель должен обработать сообщение, а затем явно удалить его с помощью дескриптора квитанции до истечения этого периода. Если потребитель завершает работу с ошибкой или не успевает удалить сообщение, оно появляется снова, и его может обработать другой потребитель — так в стандартных очередях обеспечивается доставка как минимум один раз.

Стандартные очереди подходят для создания миниатюр изображений, отправки уведомлений по электронной почте и обработки журналов — для рабочих нагрузок, в которых дубликаты можно обрабатывать идемпотентно, а порядок не имеет значения. Очереди FIFO необходимы для обработки банковских переводов (сначала списание, затем зачисление), обновлений корзины в электронной коммерции (сначала добавление товара, затем оформление заказа) и этапов рабочего процесса, где этап 2 должен следовать за этапом 1. Для большинства архитектур с высокой пропускной способностью стандартные очереди являются вариантом по умолчанию; переходите на FIFO только тогда, когда порядок или доставка ровно один раз являются обязательным требованием.

SQS взимает плату за каждый запрос к API. Используйте пакетные операции, чтобы отправлять, получать и удалять до 10 сообщений за один вызов API, снижая затраты до 10 раз. Очереди FIFO поддерживают режим высокой пропускной способности (с включённой пакетной обработкой), который повышает предел до 3 000 сообщений в секунду при пакетах по 10 сообщений. В рабочей среде всегда используйте send-message-batch и delete-message-batch, чтобы минимизировать затраты на вызовы API.

Очереди SQS защищены политиками на основе ресурсов (политиками очереди), которые определяют, кто может отправлять сообщения в очередь и получать их из очереди. Это особенно важно при разрешении межаккаунтного доступа или когда SNS публикует сообщения в очередь SQS. Доступ Lambda к SQS регулируется политикой IAM роли выполнения Lambda (sqs:ReceiveMessage, sqs:DeleteMessage, sqs:GetQueueAttributes). Всегда применяйте принцип минимальных привилегий: не предоставляйте потребителю больше разрешений, чем на получение и удаление сообщений.

Чтобы сделать выбор, ответьте на следующие вопросы: (1) Имеет ли значение порядок? Если да → FIFO. (2) Требуется ли обработка ровно один раз? Если да → FIFO. (3) Нужна ли пропускная способность выше 3 000 TPS? Если да → Standard (для FIFO предел составляет 3 000 TPS при пакетной обработке). (4) Могут ли потребители обрабатывать дубликаты? Если да → Standard проще и дешевле. На экзамене SAA-C03 ключевые слова для FIFO: «порядок», «ровно один раз», «последовательный», «устранение дубликатов». Ключевые слова для Standard: «высокая пропускная способность», «по возможности», «как минимум один раз».

Проверьте, насколько Вы поняли концепции AWS Solutions Architect (SAA-C03) из этого урока.

В этом уроке Вы узнали, что стандартные очереди обеспечивают неограниченную пропускную способность, доставку как минимум один раз и порядок по возможности, поэтому подходят для больших объёмов данных, допускающих дубликаты; очереди FIFO гарантируют обработку ровно один раз и строгий порядок сообщений с помощью идентификаторов групп сообщений и идентификаторов устранения дубликатов, но ограничены 3 000 TPS при пакетной обработке; выбор между ними зависит от того, являются ли порядок и устранение дубликатов обязательными требованиями. Далее мы рассмотрим время ожидания видимости, очереди недоставленных сообщений и длительный опрос.