Introduction à KSQL pour l’analyse des flux
Découvrez KSQL, une interface de type SQL pour le traitement des flux en temps réel sur Kafka, qui permet de transformer et d’interroger rapidement les données.
Introduction à KSQL pour l’analyse des flux est une leçon Apache Kafka & Stream Processing Fundamentals gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Apache Kafka & Stream Processing Fundamentals, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Apache Kafka & Stream Processing Fundamentals comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
Meet KSQL: Stream Processing with SQL
Welcome to KSQL! It's an SQL-like language that lets you process and query data directly from Apache Kafka topics in real-time. Think of it as SQL for your data streams.
KSQL simplifies building stream processing applications, making it accessible even if you're not an expert in programming languages like Java or Scala.
Why KSQL? The Benefits
KSQL brings several advantages to your Kafka ecosystem:
- Real-time Analytics: Query live data streams as they arrive.
- Simplified ETL: Easily transform, filter, and aggregate data to create new topics.
- Rapid Development: Write complex stream processing logic with simple SQL queries.
- Operational Insights: Monitor your Kafka data flows with continuous queries.
KSQLDB: The Stream Processing Engine
At the heart of KSQL is KSQLDB, a distributed streaming database built on Kafka. It acts as the engine that executes your KSQL queries.
When you run a KSQL query, KSQLDB translates it into a Kafka Streams application, which then runs continuously on your Kafka cluster to process data.
Interacting with KSQLDB CLI
You can interact with KSQLDB using its command-line interface (CLI). This allows you to define streams, tables, and run queries directly.
First, you'll start the KSQLDB server, then connect to it using the CLI. Here's how you might connect:
ksql http://localhost:8088Streams: Continuous Data Flows
In KSQL, a stream represents an unbounded, ordered sequence of events. It's like a direct view into a Kafka topic, where each message is an event.
You define a stream by mapping its fields to the data in a Kafka topic. Here's an example of creating a stream for website page views:
CREATE STREAM pageviews (
viewtime BIGINT,
userid VARCHAR,
pageid VARCHAR
)
WITH (
kafka_topic='pageviews_topic',
value_format='JSON'
);Tables: Materialized Views of Streams
A table in KSQL represents a changelog stream, where each record is an update to a row in the table. It's a continuously updated, materialized view of your data.
Tables are useful for stateful operations, like counting events or storing the latest value for a key. Imagine a table of user profiles, always showing the most current data.
CREATE TABLE users_by_region AS
SELECT
regionid,
COUNT(userid) AS user_count
FROM users_stream
GROUP BY regionid
EMIT CHANGES;Querying Streams Continuously
One of KSQL's most powerful features is the ability to run continuous queries on streams. Unlike traditional SQL which runs once and exits, KSQL queries keep running and output results as new data arrives.
You can use familiar SELECT statements. Add EMIT CHANGES to see new results and LIMIT for interactive exploration:
SELECT userid, pageid
FROM pageviews
EMIT CHANGES
LIMIT 5;Basic Data Transformations
KSQL allows you to easily transform your stream data using standard SQL clauses like WHERE for filtering and selecting specific columns.
This is great for creating new, refined data streams or for simple real-time analytics. For example, let's filter page views to only show those related to the 'home' page:
SELECT userid, pageid
FROM pageviews
WHERE pageid LIKE '%home%'
EMIT CHANGES;Persistent Queries for ETL
Beyond interactive queries, KSQL allows you to define persistent queries. These are queries that run continuously in the background and write their results back to new Kafka topics.
You create persistent queries using CREATE STREAM AS SELECT or CREATE TABLE AS SELECT. They are perfect for building real-time ETL (Extract, Transform, Load) pipelines.
CREATE STREAM high_value_pageviews AS
SELECT userid, pageid
FROM pageviews
WHERE userid IN ('user_premium', 'user_gold');KSQL Concepts Check
Test your understanding of KSQL fundamentals.
KSQL: SQL for Your Data Streams
In this lesson, you've been introduced to KSQL, an incredibly powerful SQL-like interface for real-time stream processing on Apache Kafka.
- You learned about KSQLDB, the engine powering KSQL.
- You understood the difference between KSQL streams and tables.
- You saw how to write basic continuous queries and create persistent queries for ETL.
KSQL opens up a world of real-time analytics and data transformation directly on your Kafka topics!
Questions Fréquemment Posées
La leçon « Introduction à KSQL pour l’analyse des flux » est-elle gratuite ?
Oui — le texte complet de « Introduction à KSQL pour l’analyse des flux » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Apache Kafka & Stream Processing Fundamentals, passe à CoddyKit PRO. Le cours Apache Kafka & Stream Processing Fundamentals comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Introduction à KSQL pour l’analyse des flux » ?
Découvrez KSQL, une interface de type SQL pour le traitement des flux en temps réel sur Kafka, qui permet de transformer et d’interroger rapidement les données. Tu pratiques Apache Kafka & Stream Processing Fundamentals avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Apache Kafka & Stream Processing Fundamentals ?
Aucune expérience préalable n'est requise. Apache Kafka & Stream Processing Fundamentals sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Introduction à KSQL pour l’analyse des flux » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Apache Kafka & Stream Processing Fundamentals ?
Oui. Chaque leçon Apache Kafka & Stream Processing Fundamentals inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Opérations de fenêtrage dans Kafka Streams
- Jointures et agrégations dans les flux
- Introduction à KSQL pour l’analyse des flux
- Requêtes interactives et magasins d’état