Operazioni senza stato e con stato
Comprenda come Kafka Streams elabori i dati mantenendo o meno uno stato interno tra i vari record.
Operazioni senza stato e con stato è una lezione Apache Kafka & Stream Processing Fundamentals gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Apache Kafka & Stream Processing Fundamentals, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Apache Kafka & Stream Processing Fundamentals include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Stateless vs. Stateful Streams
In Kafka Streams, how you process data falls into two main categories: stateless and stateful operations.
Understanding this distinction is crucial for building efficient and correct real-time data pipelines. It impacts how your application remembers (or forgets) past events.
What are Stateless Operations?
Stateless operations process each incoming record independently. They don't remember any past records or maintain an internal state across events.
Think of it like a simple function: you give it an input, and it produces an output, without needing any memory of previous inputs.
Stateless Example: Map & Filter
Common stateless operations include map, filter, flatMap, and peek. They transform or filter records one by one.
Here's a simple Kafka Streams app using mapValues to convert all incoming message values to uppercase:
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.Topology;
import org.apache.kafka.streams.kstream.KStream;
import java.util.Properties;
public class StatelessMapApp {
public static void main(String[] args) {
Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG,
"stateless-map-app");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG,
"localhost:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_BY_KEY_CLASS_CONFIG,
Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_BY_KEY_CLASS_CONFIG,
Serdes.String().getClass());
StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source = builder.stream("input-topic");
// Stateless operation: mapValues
KStream<String, String> upperCaseStream =
source.mapValues(value -> value.toUpperCase());
upperCaseStream.to("output-topic");
Topology topology = builder.build();
KafkaStreams streams = new KafkaStreams(topology, props);
streams.start();
// In a real app, add a shutdown hook.
}
}When to Use Stateless Operations
Stateless operations are ideal for:
- Simple Transformations: Changing data format, type conversion.
- Filtering: Removing unwanted records.
- Data Cleansing: Basic sanitization of individual records.
They are generally simpler to implement and have less overhead because no state needs to be managed.
What are Stateful Operations?
Stateful operations are those that need to remember past records or combine information across multiple records to produce a result.
They maintain an internal state, which is stored locally within the Kafka Streams application instance. This state allows them to perform aggregations, joins, and windowing.
Stateful Example: Counting Events
A classic example of a stateful operation is count(). To count events per key, the application must remember previous counts for each key.
This operation transforms a KStream into a KTable, which represents a changelog of aggregated results.
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.Topology;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.KTable;
import org.apache.kafka.streams.kstream.Materialized;
import java.util.Properties;
public class StatefulCountApp {
public static void main(String[] args) {
Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG,
"stateful-count-app");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG,
"localhost:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_BY_KEY_CLASS_CONFIG,
Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_BY_KEY_CLASS_CONFIG,
Serdes.String().getClass());
StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source = builder.stream("input-topic");
// Stateful operation: count by key
KTable<String, Long> countsTable = source
.groupByKey()
.count(Materialized.as("counts-store")); // A named state store
countsTable.toStream().to("output-topic");
Topology topology = builder.build();
KafkaStreams streams = new KafkaStreams(topology, props);
streams.start();
// In a real app, add a shutdown hook.
}
}More Stateful Operations
Besides count(), other common stateful operations include:
- Aggregations:
reduce(),aggregate()(e.g., calculating sums, averages). - Joins: Combining data from two streams or a stream and a table based on a common key.
- Windowing: Grouping records that fall within a defined time frame (e.g., 5-minute window).
These operations all rely on maintaining state to function correctly.
Kafka Streams State Stores
Kafka Streams manages state using internal state stores. These are typically backed by a local key-value store like RocksDB.
For fault tolerance, Kafka Streams also uses internal Kafka topics (called changelog topics) to continuously back up the state store. If an application instance fails, its state can be restored from the changelog topic by a new instance.
Quick Check: Identify Operations
Which of these Kafka Streams operations is considered stateless?
Recap: Stateless vs. Stateful
We've explored the key differences between stateless and stateful operations in Kafka Streams:
- Stateless: Processes records individually, no memory of past events. Ideal for simple transformations and filtering.
- Stateful: Requires internal memory (state stores) to combine or remember information across records. Essential for aggregations, joins, and windowing.
Choosing the right type of operation is fundamental to designing robust and efficient stream processing applications.
Domande Frequenti
La lezione «Operazioni senza stato e con stato» è gratuita?
Sì — il testo completo di «Operazioni senza stato e con stato» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Apache Kafka & Stream Processing Fundamentals, passa a CoddyKit PRO. Il corso Apache Kafka & Stream Processing Fundamentals include 4 lezioni in totale.
Cosa imparerò in «Operazioni senza stato e con stato»?
Comprenda come Kafka Streams elabori i dati mantenendo o meno uno stato interno tra i vari record. Eserciti Apache Kafka & Stream Processing Fundamentals con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Apache Kafka & Stream Processing Fundamentals?
Non è richiesta alcuna esperienza precedente. Apache Kafka & Stream Processing Fundamentals su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Operazioni senza stato e con stato»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Apache Kafka & Stream Processing Fundamentals?
Sì. Ogni lezione Apache Kafka & Stream Processing Fundamentals include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Creazione di una semplice applicazione Kafka Streams
- Concetti di KStream e KTable
- Operazioni senza stato e con stato
- Serdes e serializzazione dei dati in Kafka Streams