Apache Kafka & Stream Processing Fundamentals · Lektion

Einführung in KSQL für Stream-Analysen

Erkunden Sie KSQL, eine SQL-ähnliche Schnittstelle für die Echtzeitverarbeitung von Streams in Kafka, mit der sich Daten schnell transformieren und abfragen lassen.

Lektion 3 von 411 Schritte

Einführung in KSQL für Stream-Analysen ist eine kostenlose Apache Kafka & Stream Processing Fundamentals-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Apache Kafka & Stream Processing Fundamentals-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Apache Kafka & Stream Processing Fundamentals-Kurs umfasst insgesamt 4 Lektionen.

Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.

Meet KSQL: Stream Processing with SQL

Welcome to KSQL! It's an SQL-like language that lets you process and query data directly from Apache Kafka topics in real-time. Think of it as SQL for your data streams.

KSQL simplifies building stream processing applications, making it accessible even if you're not an expert in programming languages like Java or Scala.

Why KSQL? The Benefits

KSQL brings several advantages to your Kafka ecosystem:

Real-time Analytics: Query live data streams as they arrive.
Simplified ETL: Easily transform, filter, and aggregate data to create new topics.
Rapid Development: Write complex stream processing logic with simple SQL queries.
Operational Insights: Monitor your Kafka data flows with continuous queries.

KSQLDB: The Stream Processing Engine

At the heart of KSQL is KSQLDB, a distributed streaming database built on Kafka. It acts as the engine that executes your KSQL queries.

When you run a KSQL query, KSQLDB translates it into a Kafka Streams application, which then runs continuously on your Kafka cluster to process data.

Interacting with KSQLDB CLI

You can interact with KSQLDB using its command-line interface (CLI). This allows you to define streams, tables, and run queries directly.

First, you'll start the KSQLDB server, then connect to it using the CLI. Here's how you might connect:

ksql http://localhost:8088

Streams: Continuous Data Flows

In KSQL, a stream represents an unbounded, ordered sequence of events. It's like a direct view into a Kafka topic, where each message is an event.

You define a stream by mapping its fields to the data in a Kafka topic. Here's an example of creating a stream for website page views:

CREATE STREAM pageviews (
  viewtime BIGINT,
  userid VARCHAR,
  pageid VARCHAR
)
WITH (
  kafka_topic='pageviews_topic',
  value_format='JSON'
);

Tables: Materialized Views of Streams

A table in KSQL represents a changelog stream, where each record is an update to a row in the table. It's a continuously updated, materialized view of your data.

Tables are useful for stateful operations, like counting events or storing the latest value for a key. Imagine a table of user profiles, always showing the most current data.

CREATE TABLE users_by_region AS
SELECT
  regionid,
  COUNT(userid) AS user_count
FROM users_stream
GROUP BY regionid
EMIT CHANGES;

Querying Streams Continuously

One of KSQL's most powerful features is the ability to run continuous queries on streams. Unlike traditional SQL which runs once and exits, KSQL queries keep running and output results as new data arrives.

You can use familiar SELECT statements. Add EMIT CHANGES to see new results and LIMIT for interactive exploration:

SELECT userid, pageid
FROM pageviews
EMIT CHANGES
LIMIT 5;

Basic Data Transformations

KSQL allows you to easily transform your stream data using standard SQL clauses like WHERE for filtering and selecting specific columns.

This is great for creating new, refined data streams or for simple real-time analytics. For example, let's filter page views to only show those related to the 'home' page:

SELECT userid, pageid
FROM pageviews
WHERE pageid LIKE '%home%'
EMIT CHANGES;

Persistent Queries for ETL

Beyond interactive queries, KSQL allows you to define persistent queries. These are queries that run continuously in the background and write their results back to new Kafka topics.

You create persistent queries using CREATE STREAM AS SELECT or CREATE TABLE AS SELECT. They are perfect for building real-time ETL (Extract, Transform, Load) pipelines.

CREATE STREAM high_value_pageviews AS
SELECT userid, pageid
FROM pageviews
WHERE userid IN ('user_premium', 'user_gold');

KSQL Concepts Check

Test your understanding of KSQL fundamentals.

Beantworte es in der interaktiven Lektion

KSQL: SQL for Your Data Streams

In this lesson, you've been introduced to KSQL, an incredibly powerful SQL-like interface for real-time stream processing on Apache Kafka.

You learned about KSQLDB, the engine powering KSQL.
You understood the difference between KSQL streams and tables.
You saw how to write basic continuous queries and create persistent queries for ETL.

KSQL opens up a world of real-time analytics and data transformation directly on your Kafka topics!

Kostenlos starten

Lerne Apache Kafka & Stream Processing Fundamentals mit einem KI-Tutor — kostenlos

Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.

Kurse: 12
Lektionen: 48

Kostenlos lernen Den vollständigen Kurs ansehen

Häufig gestellte Fragen

Ist die Lektion „Einführung in KSQL für Stream-Analysen“ kostenlos?

Ja — der vollständige Text von „Einführung in KSQL für Stream-Analysen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Apache Kafka & Stream Processing Fundamentals-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Apache Kafka & Stream Processing Fundamentals-Kurs umfasst insgesamt 4 Lektionen.

Was lerne ich in „Einführung in KSQL für Stream-Analysen“?

Erkunden Sie KSQL, eine SQL-ähnliche Schnittstelle für die Echtzeitverarbeitung von Streams in Kafka, mit der sich Daten schnell transformieren und abfragen lassen. Du übst Apache Kafka & Stream Processing Fundamentals mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.

Brauche ich Erfahrung, um Apache Kafka & Stream Processing Fundamentals zu starten?

Keine Vorkenntnisse erforderlich. Apache Kafka & Stream Processing Fundamentals auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.

Wie lange dauert die Lektion „Einführung in KSQL für Stream-Analysen“?

Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.

Kann ich in dieser Apache Kafka & Stream Processing Fundamentals-Lektion Code schreiben und ausführen?

Ja. Jede Apache Kafka & Stream Processing Fundamentals-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.

Alle Lektionen in diesem Kurs

← Zurück zu Apache Kafka & Stream Processing Fundamentals