Contrapressão e controle de fluxo em escala
Aprenda como a contrapressão protege sistemas de processamento de fluxos contra sobrecarga e quais técnicas os pipelines baseados em Kafka usam para permanecer estáveis sob cargas variáveis.
Contrapressão e controle de fluxo em escala é uma aula grátis de Apache Kafka & Stream Processing Fundamentals no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Apache Kafka & Stream Processing Fundamentals, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Apache Kafka & Stream Processing Fundamentals inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
What Is Backpressure?
Backpressure is feedback that slows a fast producer when a downstream stage can't keep up.
Without it, queues grow unbounded, memory fills, and the whole pipeline collapses under load.
Why Kafka Helps
Kafka itself acts as a giant durable buffer between producers and consumers.
- Producers write at their pace; consumers read at theirs.
- The log absorbs bursts up to the retention limit.
But the buffer is finite — you still need flow control.
Consumer Pull Model
Kafka consumers pull via poll(). They fetch only what they can handle, giving natural backpressure on the read side.
If processing is slow, you simply poll less — but you must respect timeouts.
max.poll.records & Rebalance Risk
If a poll returns more records than you can process within max.poll.interval.ms, the broker assumes the consumer is dead and triggers a rebalance.
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 200);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 300000);Pausing Partitions
When a downstream sink is overwhelmed, pause consumption on specific partitions and resume when capacity returns.
consumer.pause(Collections.singletonList(
new TopicPartition("orders", 0)));
// later
consumer.resume(Collections.singletonList(
new TopicPartition("orders", 0)));Producer-Side Backpressure
On the write side, buffer.memory plus max.block.ms create backpressure: when the buffer is full, send() blocks instead of dropping data, slowing the producer to match broker throughput.
Bounded Internal Queues
If you hand records to worker threads, use bounded queues.
An unbounded queue hides backpressure until you run out of memory; a bounded one blocks the poll loop, propagating pressure back to Kafka.
Scaling Out vs. Buffering
Backpressure buys time, but sustained overload needs more capacity:
- Add consumers up to the partition count.
- Increase partitions for more parallelism.
- Pre-provision for known peak load.
Load Shedding
Sometimes correctness allows dropping or downsampling under extreme load — load shedding.
Route non-critical events to a lower-priority topic or sample metrics. Only do this where lost data is acceptable.
Monitoring for Pressure
Signals that backpressure is active or failing:
- Rising consumer lag.
- Growing producer
record-queue-time. - Frequent rebalances.
- Memory pressure on workers.
Design Principles
Build for stability:
- Always bound your buffers and queues.
- Let slow stages slow upstream stages, not crash them.
- Combine backpressure (short-term) with scaling (long-term).
- Shed load only where acceptable.
Quick Check
Test your understanding of backpressure.
Recap
You learned backpressure and flow control at scale.
- Kafka's durable log and pull-based consumers provide natural buffering.
- Pause/resume, bounded queues, and buffer.memory propagate pressure safely.
- Scale out for sustained load; shed load only when acceptable.
- Monitor lag, queue time, and rebalances.
Perguntas Frequentes
A aula “Contrapressão e controle de fluxo em escala” é grátis?
Sim — o texto completo de “Contrapressão e controle de fluxo em escala” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Apache Kafka & Stream Processing Fundamentals, atualize para CoddyKit PRO. O curso de Apache Kafka & Stream Processing Fundamentals inclui 4 aulas no total.
O que vou aprender em “Contrapressão e controle de fluxo em escala”?
Aprenda como a contrapressão protege sistemas de processamento de fluxos contra sobrecarga e quais técnicas os pipelines baseados em Kafka usam para permanecer estáveis sob cargas variáveis. Você pratica Apache Kafka & Stream Processing Fundamentals com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Apache Kafka & Stream Processing Fundamentals?
Nenhuma experiência prévia é necessária. Apache Kafka & Stream Processing Fundamentals no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Contrapressão e controle de fluxo em escala”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Apache Kafka & Stream Processing Fundamentals?
Sim. Cada aula de Apache Kafka & Stream Processing Fundamentals inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Projetando para alto rendimento
- Recuperação de desastres e replicação geográfica
- Tendências futuras no processamento de fluxos
- Contrapressão e controle de fluxo em escala