Desduplicação de mensagens e plugins de exchange com hash consistente
Explore dois plugins práticos do RabbitMQ: a exchange de hash consistente para distribuição de carga e estratégias de desduplicação que mantêm o processamento exatamente uma vez.
Desduplicação de mensagens e plugins de exchange com hash consistente é uma aula grátis de RabbitMQ Messaging & Async Systems no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de RabbitMQ Messaging & Async Systems, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de RabbitMQ Messaging & Async Systems inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Beyond Built-in Exchanges
RabbitMQ plugins extend the broker with new exchange types and behaviors. Two useful ones are the consistent hash exchange and message deduplication plugins.
The Load Distribution Problem
Fanout broadcasts to all queues; direct sends to matched queues. Neither evenly spreads a stream across a set of queues by a key.
The consistent hash exchange solves this.
Enabling the Plugin
Enable the plugin on the broker before use.
rabbitmq-plugins enable rabbitmq_consistent_hash_exchangeDeclaring the Exchange
Declare an exchange of type x-consistent-hash.
channel.exchange_declare(
exchange='shards',
exchange_type='x-consistent-hash'
)Binding With Weights
Bind queues with a numeric weight as the binding key. Higher weight means a larger share of the hash ring.
channel.queue_bind(queue='shard-1', exchange='shards', routing_key='10')
channel.queue_bind(queue='shard-2', exchange='shards', routing_key='10')How Hashing Distributes
The exchange hashes each message's routing key and maps it onto the ring, sending it to one bound queue. The same key always lands on the same queue, giving sticky distribution.
Use Cases for Hashing
- Sharding work by customer or entity id
- Keeping per-key ordering across parallel workers
- Even load spread without manual partitioning
The Duplicate Delivery Problem
RabbitMQ guarantees at-least-once delivery, so retries can cause duplicates. Deduplication ensures the same logical message is processed once.
Deduplication Plugin
The community deduplication plugin adds an exchange that drops messages carrying a recently seen deduplication header within a TTL window.
props = pika.BasicProperties(headers={'x-deduplication-header': 'order-42'})Plugin vs Application Dedup
The plugin is convenient but bounded by its cache window. For strong guarantees, also store processed ids in your application database as a backstop.
Operational Notes
- Plugins must be enabled on every node in a cluster
- Verify version compatibility with your broker
- Test failover behavior before relying on it
Quick Check
Test your plugin knowledge.
Recap
The consistent hash exchange distributes a message stream evenly and stickily across queues by hashing the routing key, while deduplication plugins drop repeated messages within a cache window.
Enable plugins on all cluster nodes and back deduplication with application-level checks for strong guarantees.
Perguntas Frequentes
A aula “Desduplicação de mensagens e plugins de exchange com hash consistente” é grátis?
Sim — o texto completo de “Desduplicação de mensagens e plugins de exchange com hash consistente” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de RabbitMQ Messaging & Async Systems, atualize para CoddyKit PRO. O curso de RabbitMQ Messaging & Async Systems inclui 4 aulas no total.
O que vou aprender em “Desduplicação de mensagens e plugins de exchange com hash consistente”?
Explore dois plugins práticos do RabbitMQ: a exchange de hash consistente para distribuição de carga e estratégias de desduplicação que mantêm o processamento exatamente uma vez. Você pratica RabbitMQ Messaging & Async Systems com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar RabbitMQ Messaging & Async Systems?
Nenhuma experiência prévia é necessária. RabbitMQ Messaging & Async Systems no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Desduplicação de mensagens e plugins de exchange com hash consistente”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de RabbitMQ Messaging & Async Systems?
Sim. Cada aula de RabbitMQ Messaging & Async Systems inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Plugin de mensagens atrasadas
- Plugin Shovel para federação
- Plugin Federation para clustering
- Desduplicação de mensagens e plugins de exchange com hash consistente