SQS Mesaj Filtreleme ve SNS + SQS Entegrasyonu

Filtreleme olmayan bir fan-out mimarisinde her SQS abonesi her SNS mesajını alır. Konunuz 10 farklı ürün kategorisi için sipariş olayları yayımlıyor ancak bir abone yalnızca elektronik siparişlerini işliyorsa, yine de gıda ve giyim mesajlarını alır ve bunları atmak zorunda kalır. Bu durum işlem gücünü boşa harcar, maliyetleri artırır ve tüketicilere gereksiz yük bindirir. SNS abonelik filtre ilkeleri, mesajları yalnızca uygun abonelere SNS'nin kendisinin yönlendirmesini sağlayarak bu sorunu çözer.

Filtre ilkesi, bir SQS veya Lambda aboneliğine uygulanan JSON nesnesidir. SNS, teslim etmeden önce ilkeyi her mesajın mesaj özniteliklerine göre değerlendirir. Mesaj öznitelikleri filtre ilkesiyle eşleşirse mesaj teslim edilir; eşleşmezse SNS bu aboneyi sessizce atlar. Filtre ilkeleri dize eşleştirmeyi, sayısal aralıkları, ön ek eşleştirmeyi ve bir özniteliğin varlığını veya yokluğunu denetlemek için exists işleci destekler.

Varsayılan olarak filtre ilkeleri mesaj öznitelikleriyle (üst verilerle) eşleşir. SNS, 2023 itibarıyla filtre ilkesi kapsamını MessageBody olarak ayarlayarak yük tabanlı (gövde) filtrelemeyi de destekler. Bu özellik, yayıncıların öznitelik eklemesini gerektirmeden doğrudan mesaj gövdesinde JSON yolu tabanlı filtreleme yapmanızı sağlar. Gövde filtreleme daha esnektir ancak mesaj gövdesinin geçerli JSON olmasını gerektirir. Her zaman yayıncınızın çıktı biçimiyle hangi kapsamın eşleştiğini doğrulayın.

Filtre ilkeleri, basit dize eşitliğinin ötesinde birden fazla eşleştirme işleci destekler:

• Sayısal: {"numeric": ["=", 100]}, {"numeric": [">", 50, "<=", 200]}
• Ön ek: {"prefix": "order-"}, bu ön ekle başlayan tüm dizelerle eşleşir
• Hariç tutulanlar: {"anything-but": ["CANCELLED"]}, listelenenler dışındaki tüm değerlerle eşleşir
• Var olma: {"exists": true}, öznitelik mevcutsa eşleşir; yoksa false olur

Filtrelemenin çalışması için yayıncının SNS'ye yayımlarken mesaj özniteliklerini içermesi gerekir. Öznitelikler, bir veri türüne (String, Number, Binary) sahip anahtar-değer çiftleridir. Yayıncının hangi abonelerin hangi filtre ilkelerine sahip olduğunu bilmesi gerekmez; yalnızca olayı açıklayan özniteliklerle mesajı zenginleştirir. SNS yönlendirmeyi otomatik olarak gerçekleştirir. Böylece yayıncılar aboneye özgü mantıktan tamamen bağımsız kalır.

Gelişmiş bir fan-out topolojisinde SNS, farklı özgüllük düzeylerinde SQS kuyruklarına yönlendirme yapabilir: bir kuyruk denetim amacıyla tüm siparişleri alır (filtre yoktur), başka bir kuyruk dolandırıcılık incelemesi için yalnızca HIGH_VALUE siparişlerini (amount >= 1000) alır ve üçüncü bir kuyruk elektronik deposu için yalnızca ELECTRONICS siparişlerini alır. Her SQS kuyruğunun kendi Lambda tüketicisi vardır. Bu desen her işleme katmanını bağımsız olarak ölçeklendirir ve mevcut katmanlara veya yayıncıya dokunmadan yeni tüketiciler eklemenizi sağlar.

SNS, farklı bir AWS hesabındaki SQS kuyruklarına teslimat yapabilir. SQS kuyruğunun kaynak tabanlı ilkesi, SNS hizmet sorumlusunun yayımlayan hesabın SNS konusu ARN'sinden sqs:SendMessage çağrısı yapmasına izin vermelidir. Bu, kimlik bilgilerini paylaşmadan merkezi olay yayımlamayı (bir hesap yayımlar, birden fazla hesap ekibi abone olur) mümkün kılar. Hesaplar arası fan-out, birden fazla hesap içeren AWS Organizations kurulumlarında yaygın bir desendir.

Olay hacmi aniden yükseldiğinde, doğrudan SNS'den Lambda'ya yapılan çağrılar Lambda'yı hemen ölçeklendirerek alt sistemlerdeki veritabanlarını veya API'leri aşırı yükleyebilir. SNS ile Lambda arasına SQS eklemek bir arabellek oluşturur: SNS SQS'ye teslimat yapar, Lambda da SQS'yi denetimli bir toplu işlem boyutuyla yoklar. Böylece Lambda sürdürülebilir bir hızda işlem yaparken SQS trafik artışlarını absorbe eder. Kuyruğun derinliği bir geri basınç mekanizması görevi görür; bunu izleyebilir ve tüketici gecikmesine işaret eden bir eşik değerin üzerine çıktığında uyarı oluşturabilirsiniz.

SNS → Lambda (doğrudan): en düşük gecikme, arabelleğe alma yoktur, Lambda hemen ölçeklenir. Saniyenin altındaki gecikmenin önemli olduğu gerçek zamanlı uyarılar veya acil bildirimler için en uygundur. SNS → SQS → Lambda: DLQ desteği, denetimli aktarım hızı, görünürlük zaman aşımıyla yeniden deneme ve kuyruk derinliği izleme ekler. İşlem işleme, envanter güncellemeleri ve alt sistem sınırlarına uyulması gereken her senaryo için en uygundur. Sınav sorularında kalıcılık ve hız denetiminden söz edildiğinde SQS arabelleğini seçin.

Dağıtıma almadan önce örnek bir mesajın filtre politikanızla eşleşip eşleşmeyeceğini test etmek için SNS konsolundaki filtre politikası düzenleyicisini kullanın. Mesaj teslimini benzetmek ve yönlendirmeyi doğrulamak için SNS Sandbox'u da kullanabilirsiniz. Kod içinde, bilinen özniteliklere sahip test mesajları yayımlayarak ve her abonelik için CloudWatch ölçümlerini kontrol ederek filtre politikalarını doğrulayın: NumberOfMessagesFiltered ölçümü, filtre tarafından kaç mesajın engellendiğini gösterir. Böylece üretim olaylarını beklemeden politikalarınızı ayarlayabilirsiniz.

Tam bir SNS + SQS entegrasyonu şu şekilde görünür: (1) Uygulama, mesaj öznitelikleriyle birlikte bir SNS Standard konusuna olay yayımlar; (2) SNS, her aboneliğin filtre politikasını değerlendirir ve yalnızca eşleşen mesajları ilgili SQS kuyruğuna teslim eder; (3) Lambda, yapılandırılmış bir toplu işlem boyutuyla her SQS kuyruğunu yoklar ve mesajları işler; (4) Başarısız mesajlar maxReceiveCount sonrasında kuyruğun DLQ'suna ulaşır; (5) DLQ derinliğini izleyen bir CloudWatch alarmı ekibi uyarır. Tamamen ayrıştırılmış ve dayanıklı bu model, örnek bir SAA-C03 mimarisidir.

Bu dersteki AWS Solutions Architect (SAA-C03) kavramlarını anlayıp anlamadığınızı test edin.

Bu derste şunları öğrendiniz: SNS filtre politikaları, SNS düzeyinde mesaj özniteliklerine veya gövde içeriğine göre mesajları yönlendirerek aşağı akıştaki tüketicilerin gereksiz işlemler yapmasını önler; SNS→SQS→Lambda modeli, fan-out yayını ile işleme arasında kalıcı arabellekleme ve hız denetimi sağlar; hesaplar arası SQS teslimi ise kuyruk kaynak politikalarını kullanarak birden çok hesap içeren ortamlarda merkezi yayım/abonelik olanağı sunar. Sırada Amazon API Gateway'in REST, HTTP ve WebSocket API'lerini inceliyoruz.