0Pricing
Apache Kafka & Stream Processing Fundamentals · Урок

Создание простого приложения Kafka Streams

Создайте своё первое приложение Kafka Streams для обработки данных из топиков Kafka в реальном времени.

«Создание простого приложения Kafka Streams» — бесплатный урок Apache Kafka & Stream Processing Fundamentals на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Apache Kafka & Stream Processing Fundamentals, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Apache Kafka & Stream Processing Fundamentals содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Welcome to Kafka Streams!

Ready to build real-time data processing apps? Kafka Streams is a client library for building applications and microservices that process data stored in Kafka.

It lets you write standard Java/Scala applications that leverage Kafka's power for stream processing. Think of it as a toolkit to transform, filter, and analyze data as it flows through Kafka.

The Power of Kafka Streams

Kafka Streams offers several key advantages for your real-time applications:

  • Lightweight: It's just a library, no separate cluster needed.
  • Fault-Tolerant: Automatically handles failures and data recovery.
  • Scalable: Easily scales by adding more instances of your application.
  • Exactly-Once Processing: Guarantees data is processed once, even with failures.

It's great for real-time analytics, data transformations, and event-driven microservices.

Setting Up Your Project

To start, you'll need to add the Kafka Streams library to your project. If you're using Maven, add this dependency to your pom.xml:

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-streams</artifactId>
  <version>3.5.1</version>
</dependency>

Core Component: StreamsBuilder

The StreamsBuilder is your main entry point for defining the stream processing topology. Think of it as the architect for your data flow.

You use it to create source streams, apply transformations, and define where the processed data should go. Here's how you'd create one:

import org.apache.kafka.streams.StreamsBuilder;

public class Main {
  public static void main(String[] args) {
    StreamsBuilder builder = new StreamsBuilder();
    // Your stream processing logic will go here
    System.out.println("StreamsBuilder created!");
  }
}

KStream: Records in Motion

A KStream represents an unbounded, continuously updating stream of key-value records. Each record is processed independently as it arrives.

You can create a KStream from a Kafka topic using the stream() method of your StreamsBuilder. This tells your app to start consuming messages from that topic.

import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.kstream.KStream;

public class Main {
  public static void main(String[] args) {
    StreamsBuilder builder = new StreamsBuilder();
    KStream<String, String> sourceStream =
        builder.stream("input-topic");
    System.out.println("KStream created from input-topic!");
  }
}

Simple Transformation: mapValues

One common operation is to transform the value of each record in a KStream. The mapValues() method is perfect for this.

It applies a function to each record's value, keeping the key unchanged. Let's write code to make all text values uppercase!

import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.kstream.KStream;

public class Main {
  public static void main(String[] args) {
    StreamsBuilder builder = new StreamsBuilder();
    KStream<String, String> sourceStream =
        builder.stream("input-topic");

    KStream<String, String> transformedStream =
        sourceStream.mapValues(value -> value.toUpperCase());

    System.out.println("Stream values will be uppercased!");
  }
}

Essential Stream Configuration

Before running your app, you need to configure it. This is done using a Properties object and StreamsConfig. Key settings include:

  • APPLICATION_ID_CONFIG: Unique ID for your app (like a consumer group).
  • BOOTSTRAP_SERVERS_CONFIG: Your Kafka broker addresses.
  • DEFAULT_KEY_SERDE_CLASS_CONFIG: How to serialize/deserialize keys.
  • DEFAULT_VALUE_SERDE_CLASS_CONFIG: How to serialize/deserialize values.

Serdes (Serializer/Deserializer) are crucial for converting data to/from bytes.

Your First Kafka Streams App

Let's put everything together! This app will read messages from an 'input-topic', convert their values to uppercase, and then write the results to an 'output-topic'.

Remember to create these topics in your Kafka cluster before running this code!

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.KStream;

import java.util.Properties;

public class UppercaseStreamApp {

  public static void main(String[] args) {
    Properties props = new Properties();
    props.put(StreamsConfig.APPLICATION_ID_CONFIG, "uppercase-app");
    props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
    props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

    StreamsBuilder builder = new StreamsBuilder();
    KStream<String, String> sourceStream = builder.stream("input-topic");

    KStream<String, String> transformedStream =
        sourceStream.mapValues(value -> value.toUpperCase());

    transformedStream.to("output-topic");

    KafkaStreams streams = new KafkaStreams(builder.build(), props);

    // Clean up local state on shutdown (for development)
    streams.cleanUp(); 
    
    streams.start();

    // Add shutdown hook to close Kafka Streams cleanly
    Runtime.getRuntime().addShutdownHook(new Thread(streams::close));
    System.out.println("UppercaseStreamApp started!");
  }
}

Managing Your Stream App

After defining your topology and configuration, you create a KafkaStreams instance and call start() to begin processing.

It's crucial to add a shutdown hook (Runtime.getRuntime().addShutdownHook) to ensure your application closes gracefully, flushing any buffered data and releasing resources.

The streams.cleanUp() call is useful during development to clear any local state store data, but should generally be avoided in production.

Test Your Knowledge

Which of the following is NOT a core component or essential configuration for a basic Kafka Streams application?

Recap: Your First Stream App

Great job! You've successfully learned the fundamentals of building a simple Kafka Streams application.

You now understand how to:

  • Add the necessary Kafka Streams dependency.
  • Use StreamsBuilder to define your processing topology.
  • Create a KStream from an input topic.
  • Apply simple transformations like mapValues().
  • Configure your application with StreamsConfig.
  • Start and gracefully stop your Kafka Streams application.

Next, we'll dive deeper into KStream and KTable concepts!

Часто задаваемые вопросы

Урок «Создание простого приложения Kafka Streams» бесплатный?

Да — полный текст урока «Создание простого приложения Kafka Streams» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Apache Kafka & Stream Processing Fundamentals, подпишись на CoddyKit PRO. Курс Apache Kafka & Stream Processing Fundamentals содержит 4 уроков всего.

Чему я научусь в уроке «Создание простого приложения Kafka Streams»?

Создайте своё первое приложение Kafka Streams для обработки данных из топиков Kafka в реальном времени. Ты практикуешь Apache Kafka & Stream Processing Fundamentals с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Apache Kafka & Stream Processing Fundamentals?

Предыдущий опыт не требуется. Apache Kafka & Stream Processing Fundamentals на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.

Сколько времени занимает урок «Создание простого приложения Kafka Streams»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Apache Kafka & Stream Processing Fundamentals?

Да. Каждый урок Apache Kafka & Stream Processing Fundamentals включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Создание простого приложения Kafka Streams
  2. Понятия KStream и KTable
  3. Операции без состояния и с состоянием
  4. Serdes и сериализация данных в Kafka Streams
← Назад к Apache Kafka & Stream Processing Fundamentals