Тайм-аут видимости, DLQ и длительный опрос

Когда потребитель получает сообщение из SQS, оно скрывается от всех остальных потребителей на период, называемый временем ожидания видимости. В течение этого периода потребитель обрабатывает сообщение, а затем удаляет его. Если потребитель завершает работу с ошибкой или не успевает завершить обработку, время ожидания видимости истекает, и сообщение снова становится видимым, поэтому его может получить другой потребитель. Это основной механизм, обеспечивающий гарантию доставки SQS как минимум один раз.

Время ожидания видимости по умолчанию составляет 30 секунд. Его можно установить в диапазоне от 0 секунд до 12 часов. Установите значение, которое с запасом превышает максимально ожидаемое время обработки: если обработка занимает до 2 минут, задайте время ожидания не менее 3–4 минут. Также можно изменить время ожидания для отдельной квитанции с помощью change-message-visibility. Это полезно, когда потребитель понимает, что ему нужно больше времени для завершения обработки конкретного сообщения.

Если установить время ожидания слишком коротким, сообщения появятся снова до завершения обработки потребителем, что приведёт к повторной обработке. Если установить его слишком длинным, другой потребитель не сможет получить сообщение, если исходный потребитель незаметно завершит работу (например, из-за сбоя экземпляра EC2 без корректного завершения). Оптимальное время ожидания должно быть немного больше времени обработки на 99-м процентиле, но достаточно коротким, чтобы быстро восстанавливаться после сбоев потребителей. Следите за метрикой CloudWatch ApproximateNumberOfMessagesNotVisible, чтобы выявлять проблемы с временем ожидания.

Очередь недоставленных сообщений (DLQ) — это отдельная очередь SQS, куда сообщения отправляются после заданного числа неудачных попыток обработки (maxReceiveCount). Когда число получений сообщения превышает maxReceiveCount, SQS автоматически перемещает его в DLQ. DLQ не позволяет сообщениям-«отравленным пилюлям» (сообщениям, обработка которых всегда завершается ошибкой) бесконечно блокировать очередь. Сообщения в DLQ можно проверять, отлаживать и повторно воспроизводить после исправления ошибки обработки.

DLQ — это обычная очередь SQS (Standard для исходной очереди Standard и FIFO для исходной очереди FIFO). В исходной очереди настройте политику повторной отправки, указав, какая очередь является DLQ, и порог maxReceiveCount. Убедитесь, что срок хранения сообщений в DLQ больше срока хранения в исходной очереди: сообщения поступают в DLQ с задержкой, и Вам потребуется время на их исследование до истечения срока хранения.

Настройте оповещение CloudWatch для метрики ApproximateNumberOfMessagesVisible очереди DLQ. Любое сообщение, поступившее в DLQ, указывает на требующую внимания ошибку обработки. Настройте оповещение так, чтобы оно немедленно запускало уведомление SNS дежурному инженеру. Рассматривайте каждое сообщение в DLQ как ошибку, требующую исследования: сообщения не должны незаметно накапливаться в DLQ. После исправления ошибки используйте повторную отправку из DLQ, чтобы вернуть сообщения в исходную очередь для повторной обработки.

После исправления ошибки, вызвавшей сбои обработки, используйте повторную отправку из DLQ SQS, чтобы переместить сообщения из DLQ обратно в исходную очередь для повторной обработки. Консоль предоставляет встроенную возможность повторной отправки. Вы можете фильтровать сообщения по атрибутам и воспроизводить только определённые сообщения. Кроме того, можно написать функцию Lambda, которая будет опрашивать DLQ и пересылать сообщения обратно в исходную очередь, если требуется собственная логика фильтрации.

По умолчанию SQS использует короткий опрос: вызов receive-message проверяет случайное подмножество серверов и сразу возвращает ответ, даже если доступных сообщений нет. Это приводит к большому числу пустых ответов и напрасным вызовам API. Длительный опрос ожидает поступления сообщения до 20 секунд, прежде чем вернуть пустой ответ. Длительный опрос значительно снижает затраты (требуется меньше вызовов API) и уменьшает задержку: сообщение будет получено сразу после поступления, максимум на 20 секунд раньше следующего цикла опроса.

Включите длительный опрос на уровне очереди (он применяется ко всем вызовам получения) или для отдельного запроса. Для большинства приложений рекомендуется настроить на уровне очереди параметр ReceiveMessageWaitTimeSeconds со значением 20. Когда Lambda использует SQS в качестве источника событий, длительный опрос включается автоматически. Для потребителей на базе EC2 задайте WaitTimeSeconds в вызове receive-message.

Сообщения SQS могут содержать атрибуты сообщений — пары «ключ–значение» с метаданными, отдельные от тела сообщения. У атрибутов есть тип (строка, число, двоичные данные) и значение. Когда SQS подписана на тему SNS, можно использовать политики фильтрации подписки SNS, применяемые к атрибутам сообщений, чтобы направлять в каждую очередь только релевантные сообщения. Без фильтрации каждый подписчик SQS получает каждую публикацию SNS независимо от её содержимого.

Очередь задержки делает каждое новое сообщение невидимым на период от 0 до 15 минут после его отправки. Это полезно для рабочих процессов, в которых потребитель не должен обрабатывать сообщение сразу, например когда сначала необходимо дождаться завершения зависимого процесса. Также можно задать задержку для отдельного сообщения с помощью параметра DelaySeconds при отправке; она переопределит задержку на уровне очереди. Примечание: очереди задержки недоступны для очередей FIFO.

В этом уроке Вы узнали, что тайм-аут видимости скрывает сообщение от других потребителей во время обработки, обеспечивая доставку как минимум один раз с автоматической повторной доставкой при сбое потребителя; очереди недоставленных сообщений сохраняют сообщения, обработка которых неоднократно завершается ошибкой, чтобы их можно было отладить и повторно воспроизвести после исправления ошибки; а длительный опрос (ожидание до 20 секунд) снижает затраты на API и задержку по сравнению с коротким опросом. Далее мы рассмотрим темы SNS и архитектуру широковещательной рассылки.