قوائم SQS القياسية مقابل FIFO

تعمل قوائم انتظار الرسائل على فصل المنتجين عن المستهلكين: إذ يرسل المنتج رسالة إلى قائمة الانتظار من دون انتظار أن يعالجها المستهلك. ويعالج المستهلك الرسائل بالسرعة التي تناسبه. يمنع هذا النمط المنتجين السريعين من إرهاق المستهلكين البطيئين، ويتيح توسيع نطاق كل طبقة بشكل مستقل، كما يوفر مخزنًا مؤقتًا دائمًا إذا لم يكن المستهلك متاحًا مؤقتًا. وتُعد Amazon SQS خدمة قوائم انتظار رسائل مُدارة بالكامل وعالية التوافر من AWS.

توفر قوائم الانتظار القياسية إنتاجية غير محدودة (عددًا شبه غير محدود من المعاملات في الثانية). وهي تضمن التسليم مرة واحدة على الأقل، ما يعني أن الرسالة قد تُسلَّم أكثر من مرة في حالات نادرة (بسبب البنية التحتية الموزعة). أما ترتيب الرسائل فيعتمد على أفضل جهد: فعادةً ما تُسلَّم الرسائل بالترتيب الذي أُرسلت به، لكن لا يوجد ضمان لذلك. وتناسب قوائم الانتظار القياسية الحالات التي تكون فيها الإنتاجية بالغة الأهمية، ويستطيع فيها المستهلك التعامل مع التكرار العرضي والتسليم خارج الترتيب.

تضمن قوائم انتظار FIFO (الوارد أولًا، يخرج أولًا) المعالجة مرة واحدة بالضبط والترتيب الصارم للرسائل. وتُسلَّم الرسائل بالترتيب نفسه الذي أُرسلت به تمامًا. وتدعم قوائم انتظار FIFO ما يصل إلى 300 معاملة في الثانية (و3,000 معاملة عند استخدام التجميع). ويجب أن تنتهي أسماء قوائم انتظار FIFO بالامتداد .fifo. استخدموا قوائم انتظار FIFO عندما يكون الترتيب ودلالات المعالجة مرة واحدة بالضبط أمرين بالغي الأهمية، مثل المعاملات المالية، ومعالجة طلبات التجارة الإلكترونية، وتحديثات المخزون.

تستخدم قوائم انتظار FIFO معرّفات مجموعات الرسائل لتقسيم الترتيب داخل قائمة الانتظار. وتُسلَّم الرسائل التي لها معرّف المجموعة نفسه بالترتيب، بينما يمكن معالجة الرسائل ذات معرّفات المجموعات المختلفة بالتوازي. على سبيل المثال، استخدموا customerId معرّفًا للمجموعة: تتم معالجة طلبات كل عميل بالتسلسل، في حين تتم معالجة طلبات العملاء المختلفين بشكل متزامن. ويتيح ذلك دلالات FIFO مع قابلية التوسع الأفقي عبر المستهلكين.

تمنع قوائم انتظار FIFO معالجة الرسائل المكررة باستخدام معرّف إزالة التكرار. فإذا أُرسلت رسالتان بالمعرّف نفسه خلال فترة إزالة التكرار البالغة 5 دقائق، تُهمَل الرسالة الثانية بصمت. ويمكنكم تقديم معرّف إزالة التكرار صراحةً (MessageDeduplicationId) أو تمكين إزالة التكرار المستندة إلى المحتوى، حيث تحسب SQS تلقائيًا تجزئة SHA-256 لنص الرسالة وتستخدمها معرّفًا لإزالة التكرار. وتُعد إزالة التكرار المستندة إلى المحتوى أبسط، لكنها تتطلب أن تكون نصوص الرسائل فريدة.

تحتفظ SQS بالرسائل لفترة قابلة للتهيئة: حد أدنى دقيقة واحدة وحد أقصى 14 يومًا (والقيمة الافتراضية 4 أيام). وتُحذف الرسائل التي لم تُستهلك خلال فترة الاحتفاظ تلقائيًا. ويبلغ الحد الأقصى لحجم الرسالة 256 كيلوبايت. أما الحمولة الأكبر، فاستخدموا SQS Extended Client Library أو خزّنوا الحمولة في S3 وأرسلوا مرجع كائن S3 فقط داخل رسالة SQS. وتشترك قوائم الانتظار القياسية وقوائم FIFO في هذه الحدود.

يستطلع المستهلكون قائمة الانتظار باستخدام receive-message. وبعد الاستلام، تصبح الرسالة غير مرئية (مخفية عن المستهلكين الآخرين) طوال فترة مهلة الظهور. ويجب على المستهلك معالجة الرسالة ثم حذفها صراحةً باستخدام مقبض الاستلام قبل انتهاء المهلة. وإذا تعطل المستهلك أو لم يحذف الرسالة في الوقت المحدد، فستظهر الرسالة مجددًا ويمكن لمستهلك آخر معالجتها، ما يتيح التسليم مرة واحدة على الأقل في قوائم الانتظار القياسية.

تناسب قوائم الانتظار القياسية حالات مثل: إنشاء الصور المصغرة، وإرسال رسائل البريد الإلكتروني للإشعارات، ومعالجة السجلات، أي أعباء العمل التي يمكن فيها التعامل مع التكرار بطريقة idempotent ولا يكون الترتيب مهمًا. وتلزم قوائم انتظار FIFO في حالات مثل: معالجة التحويلات المصرفية (الخصم قبل الإضافة)، وتحديثات سلة التجارة الإلكترونية (إضافة العنصر قبل إتمام الشراء)، وخطوات سير العمل التي يجب أن تتبع فيها الخطوة 2 الخطوة 1. وبالنسبة إلى معظم البنى ذات الإنتاجية العالية، تكون قوائم الانتظار القياسية هي الخيار الافتراضي؛ وانتقلوا إلى FIFO فقط عندما يكون الترتيب أو التسليم مرة واحدة بالضبط متطلبًا إلزاميًا.

تفرض SQS رسومًا على كل طلب من طلبات API. استخدموا عمليات التجميع لإرسال ما يصل إلى 10 رسائل واستلامها وحذفها في كل استدعاء لـ API، ما يخفض التكاليف بما يصل إلى 10 أضعاف. وتدعم قوائم انتظار FIFO وضع الإنتاجية العالية (الذي يتيح التجميع)، ما يرفع الحد إلى 3,000 رسالة في الثانية عند تجميع 10 رسائل. استخدموا دائمًا send-message-batch وdelete-message-batch في بيئات الإنتاج لتقليل تكاليف استدعاءات API.

تُؤمَّن قوائم انتظار SQS باستخدام سياسات مستندة إلى الموارد (سياسات قوائم الانتظار) التي تتحكم فيمن يمكنه الإرسال إلى قائمة الانتظار أو الاستلام منها. ويكتسب ذلك أهمية خاصة عند السماح بالوصول عبر الحسابات أو عند نشر SNS إلى قائمة انتظار SQS. ويتحكم دور IAM الخاص بدور تنفيذ Lambda في وصول Lambda إلى SQS، من خلال سياسة IAM التي تتضمن sqs:ReceiveMessage وsqs:DeleteMessage وsqs:GetQueueAttributes. طبّقوا دائمًا مبدأ أقل الصلاحيات: لا تمنحوا المستهلك صلاحيات تتجاوز الاستلام والحذف.

اطرحوا الأسئلة التالية للاختيار: (1) هل الترتيب مهم؟ إذا كانت الإجابة نعم ← FIFO. (2) هل المعالجة مرة واحدة بالضبط مطلوبة؟ إذا كانت الإجابة نعم ← FIFO. (3) هل نحتاج إلى إنتاجية تتجاوز 3,000 TPS؟ إذا كانت الإجابة نعم ← Standard (إذ يقتصر FIFO على 3,000 TPS عند استخدام التجميع). (4) هل يستطيع المستهلكون التعامل مع التكرار؟ إذا كانت الإجابة نعم ← يكون Standard أبسط وأقل تكلفة. بالنسبة إلى اختبار SAA-C03، تشمل الكلمات المفتاحية لـ FIFO: 'ordering' و'exactly-once' و'sequential' و'deduplication'. وتشمل الكلمات المفتاحية لـ Standard: 'high throughput' و'best effort' و'at-least-once'.

اختبروا فهمكم لمفاهيم AWS Solutions Architect (SAA-C03) التي تناولها هذا الدرس.

تعلمتم في هذا الدرس أن قوائم الانتظار القياسية توفر إنتاجية غير محدودة مع التسليم مرة واحدة على الأقل والترتيب بأفضل جهد، ولذلك تناسب أعباء العمل ذات الحجم الكبير التي يمكنها تحمّل التكرار؛ وأن قوائم انتظار FIFO تضمن المعالجة مرة واحدة بالضبط والترتيب الصارم للرسائل باستخدام معرّفات مجموعات الرسائل ومعرّفات إزالة التكرار، مع حد أقصى يبلغ 3,000 TPS عند استخدام التجميع؛ وأن الاختيار بينهما يعتمد على ما إذا كان الترتيب وإزالة التكرار متطلبين إلزاميين. في الدرس التالي، سنستكشف مهلة الظهور، وقوائم انتظار الرسائل غير القابلة للتسليم، والاستطلاع الطويل.