SQS Standard キューと FIFO キュー

メッセージキューはプロデューサーとコンシューマーを分離します。プロデューサーはコンシューマーが処理するのを待たずに、キューへメッセージを送信します。コンシューマーは自身のペースでメッセージを処理します。このパターンにより、高速なプロデューサーが低速なコンシューマーを圧迫するのを防ぎ、各層を個別にスケールできるようになり、コンシューマーが一時的に利用できない場合にも永続的なバッファーを提供できます。Amazon SQSは、AWSが提供するフルマネージドで可用性の高いメッセージキューイングサービスです。

標準キューは無制限のスループット（1秒あたりのトランザクション数がほぼ無制限）を提供します。少なくとも1回の配信が保証されますが、まれに（分散インフラストラクチャが原因で）同じメッセージが複数回配信される場合があります。メッセージの順序はベストエフォートです。通常は送信順に配信されますが、保証はされません。標準キューは、スループットが重要で、コンシューマーが重複や順序が前後したメッセージを処理できる場合に適しています。

FIFOキュー（First-In, First-Out）は、厳密に1回の処理とメッセージ順序を保証します。メッセージは送信された正確な順序で配信されます。FIFOキューは1秒あたり300トランザクション（バッチ処理時は3,000）までサポートします。FIFOキューの名前は末尾を.fifoにする必要があります。順序と厳密に1回の処理が重要な場合（金融取引、Eコマースの注文処理、在庫更新など）にはFIFOキューを使用してください。

FIFOキューでは、キュー内の順序を分割するためにMessage Group IDを使用します。同じGroup IDを持つメッセージは順序どおりに配信され、異なるGroup IDを持つメッセージは並列に処理できます。たとえば、customerIdをGroup IDとして使用すると、各顧客の注文は順番に処理されますが、異なる顧客の注文は同時に処理されます。これにより、コンシューマー間で水平方向にスケールしながらFIFOのセマンティクスを実現できます。

FIFOキューでは、重複排除IDを使用してメッセージの重複処理を防ぎます。5分間の重複排除期間内に同じIDを持つ2つのメッセージが送信された場合、2つ目のメッセージは通知なしに破棄されます。重複排除ID（MessageDeduplicationId）を明示的に指定するか、コンテンツベースの重複排除を有効にできます。この場合、SQSがメッセージ本文のSHA-256ハッシュを重複排除IDとして自動的に計算します。コンテンツベースの重複排除はより簡単ですが、メッセージ本文が一意である必要があります。

SQSでは、設定可能な期間メッセージを保持します。最小は1分、最大は14日（デフォルトは4日）です。保持期間内に消費されなかったメッセージは自動的に削除されます。メッセージの最大サイズは256 KBです。より大きなペイロードにはSQS Extended Client Libraryを使用するか、ペイロードをS3に保存して、SQSメッセージにはS3オブジェクトへの参照のみを送信してください。標準キューとFIFOキューは、どちらもこれらの制限を共有します。

コンシューマーはreceive-messageを使用してキューをポーリングします。受信後、メッセージは非表示（他のコンシューマーから見えない状態）になり、可視性タイムアウトの期間が経過するまでその状態が続きます。コンシューマーはメッセージを処理した後、タイムアウトが切れる前に、レシートハンドルを使用して明示的に削除する必要があります。コンシューマーがクラッシュした場合や、時間内に削除しなかった場合、メッセージは再び表示され、別のコンシューマーが処理できるようになります。これにより、標準キューで少なくとも1回の配信が実現されます。

標準キューは、画像サムネイルの生成、通知メールの送信、ログ処理など、重複を冪等に処理でき、順序が重要でないワークロードに適しています。FIFOキューは、銀行振込処理（入金前の出金）、Eコマースのカート更新（チェックアウト前の商品追加）、ステップ2がステップ1の後に続く必要があるワークフローなどで必要になります。ほとんどの高スループットアーキテクチャでは標準キューがデフォルトの選択肢です。順序または厳密に1回の配信が必須要件である場合にのみ、FIFOへ切り替えてください。

SQSではAPIリクエストごとに料金が発生します。バッチ操作を使用すると、1回のAPI呼び出しで送信、受信、削除を最大10メッセージまで実行でき、コストを最大10分の1に削減できます。FIFOキューでは、高スループットモード（バッチ処理を有効化）をサポートしており、10件のバッチ処理で上限が1秒あたり3,000メッセージまで引き上げられます。本番環境では、API呼び出しのコストを最小限に抑えるため、必ずsend-message-batchとdelete-message-batchを使用してください。

SQSキューは、誰がキューへ送信したり、キューから受信したりできるかを制御するリソースベースのポリシー（キューポリシー）によって保護されます。これは、クロスアカウントアクセスを許可する場合や、SNSからSQSキューへ発行する場合に重要です。LambdaのSQSへのアクセスは、Lambda実行ロールのIAMポリシー（sqs:ReceiveMessage、sqs:DeleteMessage、sqs:GetQueueAttributes）によって制御されます。常に最小権限を適用し、コンシューマーに受信と削除を超える権限を与えないでください。

選択する際は、次の質問を確認してください。(1) 順序は重要ですか？ 重要な場合 → FIFOです。(2) 厳密に1回の処理が必要ですか？ 必要な場合 → FIFOです。(3) 1秒あたり3,000トランザクションを超えるスループットが必要ですか？ 必要な場合 → 標準です（FIFOはバッチ処理時でも3,000 TPSが上限です）。(4) コンシューマーは重複を処理できますか？ できる場合 → 標準のほうが簡単で低コストです。SAA-C03試験でFIFOを示すキーワードは「ordering」「exactly-once」「sequential」「deduplication」です。標準を示すキーワードは「high throughput」「best effort」「at-least-once」です。

このレッスンでは、次のことを学びました。標準キューは、少なくとも1回の配信とベストエフォートの順序付けで無制限のスループットを提供し、重複を許容できる大量ワークロードに適しています。FIFOキューは、Message Group IDと重複排除IDを使用して厳密に1回の処理と厳密なメッセージ順序を保証しますが、バッチ処理時でも3,000 TPSが上限です。どちらを選ぶかは、順序付けと重複排除が必須要件かどうかによって決まります。次は、可視性タイムアウト、デッドレターキュー、ロングポーリングについて学びます。