Concurrence et gestion des threads
Configurez et gérez la concurrence des consommateurs dans les applications Kafka avec Spring Boot afin d’optimiser le débit et l’utilisation des ressources.
Concurrence et gestion des threads est une leçon Advanced Spring Boot 4: Event-Driven Architecture (Kafka) gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Advanced Spring Boot 4: Event-Driven Architecture (Kafka), et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Advanced Spring Boot 4: Event-Driven Architecture (Kafka) comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
Boosting Consumer Throughput
When consuming messages from Kafka, processing them sequentially might not be fast enough. Concurrency allows your application to process multiple messages in parallel, significantly increasing throughput.
This is crucial for high-volume topics where messages arrive rapidly and need quick processing.
Default Consumer Behavior
By default, a @KafkaListener method in Spring Boot will create one consumer thread per listener container. This single thread is responsible for fetching and processing messages from the partitions assigned to it.
While simple, this setup doesn't always leverage multi-core processors for parallel message processing from a single topic effectively.
The `concurrency` Property
Spring for Apache Kafka provides a powerful concurrency property that allows you to specify the number of consumer threads to run for a given listener.
- Each concurrent consumer runs in its own thread.
- These threads collectively manage the partitions assigned to the consumer group.
This is key to scaling your consumer horizontally within a single application instance.
Setting Concurrency Level
You can set the concurrency level directly on the @KafkaListener annotation or globally via configuration properties.
For example, @KafkaListener(topics = "my-topic", groupId = "my-group", concurrency = "3") will start 3 consumer threads.
Alternatively, you can set it in application.properties for all listeners using a specific container factory.
Concurrency in Action
Let's see how to configure a listener with concurrency. This listener will process messages from "my-topic" using 3 concurrent threads.
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
@SpringBootApplication
@EnableKafka
public class ConcurrencyApp {
public static void main(String[] args) {
SpringApplication.run(ConcurrencyApp.class, args);
}
@Component
static class MyKafkaListener {
@KafkaListener(topics = "my-topic", groupId = "my-group", concurrency = "3")
public void listen(String message) {
System.out.println("Thread " + Thread.currentThread().getId() +
" received: " + message);
}
}
}How Threads are Managed
Spring Kafka uses ConcurrentKafkaListenerContainerFactory to create and manage the underlying consumer threads. When you set concurrency, this factory creates that many KafkaMessageListenerContainer instances.
Each container manages one consumer instance, which in turn is assigned a subset of topic partitions.
Advanced Thread Pool Customization
For more fine-grained control, you can customize the thread pool used by the container factory. This involves creating your own ConcurrentKafkaListenerContainerFactory bean.
You can set properties like max.poll.records and max.poll.interval.ms to optimize how many messages each consumer fetches and how often it commits offsets.
Partitions and Concurrency
The effective concurrency for a consumer group is limited by the number of partitions in the topic. Kafka guarantees that messages within a single partition are processed in order.
- If you have 5 partitions and set
concurrency = 10, only 5 threads will be active (one per partition). - It's best practice to set
concurrencyto be less than or equal to the number of topic partitions.
Key Concurrency Considerations
While concurrency boosts throughput, keep these in mind:
- Order: Messages within a single partition are ordered, but overall order across partitions is NOT guaranteed.
- Resource Usage: More threads mean more memory and CPU. Monitor your application's resources.
- Rebalancing: High concurrency can lead to more frequent consumer rebalances if not managed well.
Concurrency Quiz
Imagine a Kafka topic named "orders" with 4 partitions. A Spring Boot application has a @KafkaListener configured for this topic within a consumer group. If the concurrency property is set to 6, how many consumer threads will actively process messages from the "orders" topic?
Concurrency Recap
In this lesson, we explored how to manage consumer concurrency in Spring Boot Kafka applications. We learned about the concurrency property, how it relates to topic partitions, and key considerations for using it effectively.
By configuring concurrency, you can significantly optimize your application's throughput and resource utilization for high-volume event processing.
Questions Fréquemment Posées
La leçon « Concurrence et gestion des threads » est-elle gratuite ?
Oui — le texte complet de « Concurrence et gestion des threads » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Advanced Spring Boot 4: Event-Driven Architecture (Kafka), passe à CoddyKit PRO. Le cours Advanced Spring Boot 4: Event-Driven Architecture (Kafka) comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Concurrence et gestion des threads » ?
Configurez et gérez la concurrence des consommateurs dans les applications Kafka avec Spring Boot afin d’optimiser le débit et l’utilisation des ressources. Tu pratiques Advanced Spring Boot 4: Event-Driven Architecture (Kafka) avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Advanced Spring Boot 4: Event-Driven Architecture (Kafka) ?
Aucune expérience préalable n'est requise. Advanced Spring Boot 4: Event-Driven Architecture (Kafka) sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Concurrence et gestion des threads » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Advanced Spring Boot 4: Event-Driven Architecture (Kafka) ?
Oui. Chaque leçon Advanced Spring Boot 4: Event-Driven Architecture (Kafka) inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Validation manuelle des décalages
- Mettre en pause et reprendre les consommateurs
- Concurrence et gestion des threads
- Écouteurs de rééquilibrage et appartenance statique