Удаление дубликатов сообщений и плагины согласованного хеширования
Изучите два практических плагина RabbitMQ: обмен с согласованным хешированием для распределения нагрузки и стратегии удаления дубликатов, поддерживающие обработку ровно один раз.
«Удаление дубликатов сообщений и плагины согласованного хеширования» — бесплатный урок RabbitMQ Messaging & Async Systems на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения RabbitMQ Messaging & Async Systems, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс RabbitMQ Messaging & Async Systems содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Beyond Built-in Exchanges
RabbitMQ plugins extend the broker with new exchange types and behaviors. Two useful ones are the consistent hash exchange and message deduplication plugins.
The Load Distribution Problem
Fanout broadcasts to all queues; direct sends to matched queues. Neither evenly spreads a stream across a set of queues by a key.
The consistent hash exchange solves this.
Enabling the Plugin
Enable the plugin on the broker before use.
rabbitmq-plugins enable rabbitmq_consistent_hash_exchangeDeclaring the Exchange
Declare an exchange of type x-consistent-hash.
channel.exchange_declare(
exchange='shards',
exchange_type='x-consistent-hash'
)Binding With Weights
Bind queues with a numeric weight as the binding key. Higher weight means a larger share of the hash ring.
channel.queue_bind(queue='shard-1', exchange='shards', routing_key='10')
channel.queue_bind(queue='shard-2', exchange='shards', routing_key='10')How Hashing Distributes
The exchange hashes each message's routing key and maps it onto the ring, sending it to one bound queue. The same key always lands on the same queue, giving sticky distribution.
Use Cases for Hashing
- Sharding work by customer or entity id
- Keeping per-key ordering across parallel workers
- Even load spread without manual partitioning
The Duplicate Delivery Problem
RabbitMQ guarantees at-least-once delivery, so retries can cause duplicates. Deduplication ensures the same logical message is processed once.
Deduplication Plugin
The community deduplication plugin adds an exchange that drops messages carrying a recently seen deduplication header within a TTL window.
props = pika.BasicProperties(headers={'x-deduplication-header': 'order-42'})Plugin vs Application Dedup
The plugin is convenient but bounded by its cache window. For strong guarantees, also store processed ids in your application database as a backstop.
Operational Notes
- Plugins must be enabled on every node in a cluster
- Verify version compatibility with your broker
- Test failover behavior before relying on it
Quick Check
Test your plugin knowledge.
Recap
The consistent hash exchange distributes a message stream evenly and stickily across queues by hashing the routing key, while deduplication plugins drop repeated messages within a cache window.
Enable plugins on all cluster nodes and back deduplication with application-level checks for strong guarantees.
Часто задаваемые вопросы
Урок «Удаление дубликатов сообщений и плагины согласованного хеширования» бесплатный?
Да — полный текст урока «Удаление дубликатов сообщений и плагины согласованного хеширования» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс RabbitMQ Messaging & Async Systems, подпишись на CoddyKit PRO. Курс RabbitMQ Messaging & Async Systems содержит 4 уроков всего.
Чему я научусь в уроке «Удаление дубликатов сообщений и плагины согласованного хеширования»?
Изучите два практических плагина RabbitMQ: обмен с согласованным хешированием для распределения нагрузки и стратегии удаления дубликатов, поддерживающие обработку ровно один раз. Ты практикуешь RabbitMQ Messaging & Async Systems с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать RabbitMQ Messaging & Async Systems?
Предыдущий опыт не требуется. RabbitMQ Messaging & Async Systems на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Удаление дубликатов сообщений и плагины согласованного хеширования»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке RabbitMQ Messaging & Async Systems?
Да. Каждый урок RabbitMQ Messaging & Async Systems включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Плагин отложенных сообщений
- Плагин Shovel для федерации
- Плагин Federation для кластеризации
- Удаление дубликатов сообщений и плагины согласованного хеширования