Advanced Spring Boot 4: Event-Driven Architecture (Kafka) · درس

المنتجون والمستهلكون غير المتأثرين بالتكرار

عزّز أهمية تصميم منتجين ومستهلكين غير متأثرين بالتكرار لضمان اتساق الحالة حتى عند إعادة معالجة الرسائل

الدرس 2 من 411 خطوة

المنتجون والمستهلكون غير المتأثرين بالتكرار درس مجاني في Advanced Spring Boot 4: Event-Driven Architecture (Kafka) على CoddyKit. هذا هو الدرس 2 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في Advanced Spring Boot 4: Event-Driven Architecture (Kafka)، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة Advanced Spring Boot 4: Event-Driven Architecture (Kafka) 4 دروس في المجموع.

بعض أجزاء هذا الدرس لم تُترجم بعد وتظهر باللغة الإنجليزية.

What is Idempotence?

Imagine pressing a light switch. If you press it once, the light turns on. If you press it again, the light stays on – it doesn't get 'more on'. This is idempotence!

An operation is idempotent if performing it multiple times produces the same result as performing it once. It's about the final state, not how many times you tried to get there.

Why Idempotence in Messaging?

In distributed systems like those using Kafka, messages can sometimes be delivered more than once. This can happen due to network issues, consumer crashes, or rebalances.

If your application isn't designed to handle these duplicates, reprocessing the same message multiple times could lead to incorrect data or undesirable side effects.

Kafka's Idempotent Producers

Good news! Kafka provides built-in support for idempotent producers. This means when you send a message, Kafka guarantees that it will be written to the topic log exactly once, even if the producer retries sending it due to transient failures.

This prevents duplicate messages from being stored in Kafka itself.

How Kafka Idempotence Works

Kafka achieves producer idempotence by assigning a unique Producer ID (PID) to each producer session and a monotonically increasing sequence number to each message batch sent by that producer.

Kafka brokers use these IDs and sequence numbers to detect and discard any duplicate message batches before they are written to the log.

Enabling Idempotent Producers

In Spring Boot, enabling an idempotent Kafka producer is straightforward. You just need to set a specific property in your application.properties or application.yml.

  • spring.kafka.producer.properties.enable.idempotence=true

Setting this property also implicitly configures other necessary producer settings, such as acks=all and retries.

Idempotent Producer Example

Try running this simple Spring Boot application. It sends a message to a Kafka topic with idempotence enabled. Notice the configuration comments.

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
import java.util.UUID;

@SpringBootApplication
public class IdempotentProducerApp {

  public static void main(String[] args) {
    SpringApplication.run(IdempotentProducerApp.class, args);
  }

  @Bean
  public CommandLineRunner runner(
    KafkaTemplate<String, String> kafkaTemplate) {
    return args -> {
      String messageKey = UUID.randomUUID().toString();
      String messageValue = "Hello from Idempotent Producer!";
      System.out.println("Sending message with key: " 
                         + messageKey);
      kafkaTemplate.send("my-idempotent-topic", 
                         messageKey, messageValue)
        .addCallback(
          result -> System.out.println(
            "Message sent successfully!"),
          ex -> System.err.println(
            "Failed to send: " + ex.getMessage())
        );
    };
  }
}
// Add to application.properties:
// spring.kafka.producer.bootstrap-servers=localhost:9092
// spring.kafka.producer.key-serializer=
//   org.apache.kafka.common.serialization.StringSerializer
// spring.kafka.producer.value-serializer=
//   org.apache.kafka.common.serialization.StringSerializer
// spring.kafka.producer.properties.enable.idempotence=true

Idempotent Consumers

While Kafka helps producers avoid sending duplicates to the log, it doesn't guarantee that consumers will process messages exactly once. Consumers might read the same message multiple times.

Therefore, idempotent consumer logic is crucial. This means your application code must ensure that processing a message multiple times has no unintended side effects on your system's state.

Strategies for Idempotent Consumers

Here are common approaches to make your consumers idempotent:

  • Unique ID Tracking: Store a unique identifier (like Kafka's topic-partition-offset or a business ID from the message) in a persistent store. Check this store before processing.
  • State Comparison: Before applying an update, compare the incoming message's data with the current state in your system. Only apply if the state needs changing.
  • Business Idempotence: Design your business operations to be naturally idempotent. For example, 'set user status to X' is idempotent, 'increment user balance by Y' is not.

Consumer Idempotence Example

This Spring Boot example demonstrates a basic idempotent consumer using a set to track processed records. In a real application, this would be a persistent store like a database or Redis.

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import java.util.HashSet;
import java.util.Set;

@SpringBootApplication
public class IdempotentConsumerApp {

  public static void main(String[] args) {
    SpringApplication.run(IdempotentConsumerApp.class, args);
  }

  @Component
  public static class MyKafkaListener {
    // In a real app, this would be a persistent store (DB, Redis)
    private final Set<String> processedRecordIds = new HashSet<>();

    @KafkaListener(topics = "my-idempotent-topic", 
                   groupId = "idempotent-group")
    public void listen(ConsumerRecord<String, String> record) {
      // Unique ID for the record (topic-partition-offset)
      String recordId = record.topic() + "-" + record.partition()
                        + "-" + record.offset();

      if (processedRecordIds.contains(recordId)) {
        System.out.println("Duplicate record received (ID: " 
                           + recordId + "). Skipping processing.");
        return;
      }

      // Simulate processing the message
      System.out.println("Processing record ID: " + recordId 
                         + ", Key: " + record.key() 
                         + ", Value: " + record.value());
      // Add to processed set AFTER successful processing
      processedRecordIds.add(recordId);

      // In a real scenario, processing might involve DB updates
      // and 'add' would happen as part of a transaction.
    }
  }
}
// Add to application.properties:
// spring.kafka.consumer.bootstrap-servers=localhost:9092
// spring.kafka.consumer.key-deserializer=
//   org.apache.kafka.common.serialization.StringDeserializer
// spring.kafka.consumer.value-deserializer=
//   org.apache.kafka.common.serialization.StringDeserializer
// spring.kafka.consumer.group-id=idempotent-group
// spring.kafka.consumer.auto-offset-reset=earliest

Quick Check: Idempotence

Test your understanding of idempotent operations in messaging.

Recap & Next Steps

Great job! In this lesson, you've learned about the vital concept of idempotence in event-driven systems.

  • You understand why idempotence is critical for maintaining consistent state when messages might be reprocessed.
  • You saw how Kafka's built-in idempotent producers prevent duplicate messages from entering the topic.
  • You explored strategies for building idempotent consumers, ensuring your application handles duplicate messages gracefully.

Mastering idempotence is a key step towards building robust and reliable Kafka applications!

البدء مجانًا

تعلم Advanced Spring Boot 4: Event-Driven Architecture (Kafka) مع معلم ذكاء اصطناعي — مجانًا

اكتب وقم بتشغيل أكوادك الفعلية في المتصفح، واحصل على مساعدة فورية من معلم ذكاء اصطناعي متاح 24/7، واستمر من حيث توقفت على الويب أو في التطبيق.

الدورات
12
الدروس
48

الأسئلة الشائعة

هل درس «المنتجون والمستهلكون غير المتأثرين بالتكرار» مجاني؟

نعم — نص درس «المنتجون والمستهلكون غير المتأثرين بالتكرار» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة Advanced Spring Boot 4: Event-Driven Architecture (Kafka)، انتقل إلى CoddyKit PRO. تتضمن دورة Advanced Spring Boot 4: Event-Driven Architecture (Kafka) 4 دروس في المجموع.

ماذا ستتعلم في «المنتجون والمستهلكون غير المتأثرين بالتكرار»؟

عزّز أهمية تصميم منتجين ومستهلكين غير متأثرين بالتكرار لضمان اتساق الحالة حتى عند إعادة معالجة الرسائل تتمرن على Advanced Spring Boot 4: Event-Driven Architecture (Kafka) مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.

هل أحتاج إلى خبرة سابقة لأبدأ Advanced Spring Boot 4: Event-Driven Architecture (Kafka)؟

لا تُشترط خبرة سابقة. Advanced Spring Boot 4: Event-Driven Architecture (Kafka) على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 2 من أصل 4.

كم من الوقت يستغرق درس «المنتجون والمستهلكون غير المتأثرين بالتكرار»؟

معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.

هل يمكنني كتابة وتشغيل أكواد في درس Advanced Spring Boot 4: Event-Driven Architecture (Kafka) هذا؟

نعم. كل درس في Advanced Spring Boot 4: Event-Driven Architecture (Kafka) يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.

جميع الدروس في هذه الدورة

  1. نصائح لضبط أداء Kafka
  2. المنتجون والمستهلكون غير المتأثرين بالتكرار
  3. نشر تطبيقات Spring Boot وKafka على السحابة
  4. تخطيط السعة: الأقسام والنسخ المتماثلة
← العودة إلى Advanced Spring Boot 4: Event-Driven Architecture (Kafka)