Capture des modifications de données (CDC)
Utilisez Kafka pour capturer les modifications de données et diffuser en temps réel les changements de bases de données dans différents cas d’utilisation.
Capture des modifications de données (CDC) est une leçon Apache Kafka & Stream Processing Fundamentals gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Apache Kafka & Stream Processing Fundamentals, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Apache Kafka & Stream Processing Fundamentals comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
What is Change Data Capture?
Imagine needing to know every time a record in your database is updated, inserted, or deleted, in real-time. This is where Change Data Capture (CDC) comes in!
CDC is a software design pattern used to track and capture changes made to data in a database. It focuses on identifying and capturing only the data that has changed, rather than performing full scans.
Real-Time Data with CDC & Kafka
Combining CDC with Kafka unlocks powerful capabilities for real-time data processing and integration:
- Real-time Analytics: Update dashboards and reports instantly.
- Data Synchronization: Keep multiple databases or data stores consistent.
- Event Sourcing: Reconstruct the full history of changes for auditing or debugging.
- Microservices: Enable services to react to changes in other services' data without direct database access.
Log-Based CDC Explained
The most common and efficient CDC method, especially with Kafka, is log-based CDC. Databases like PostgreSQL, MySQL, and SQL Server maintain a transaction log (or write-ahead log - WAL).
This log records every change made to the database. Log-based CDC tools read these logs directly, without impacting the database's performance, to extract changes.
CDC Flow to Kafka
A typical CDC architecture with Kafka involves:
- Source Database: The database where changes originate.
- CDC Connector/Tool: Reads the database's transaction log.
- Kafka Connect: A framework for connecting Kafka with other systems.
- Kafka Topic: Where the captured change events are published.
- Consumers: Applications that read and process the change events from Kafka.
Debezium: Open-Source CDC
Debezium is a popular open-source distributed platform for Change Data Capture. It provides a set of Kafka Connect connectors that monitor specific database systems.
When changes occur in your database, Debezium streams these changes as events to Kafka topics. It supports various databases like PostgreSQL, MySQL, MongoDB, and SQL Server.
Debezium PostgreSQL Connector
To set up Debezium, you'd typically configure a connector via Kafka Connect's REST API. Here's a simplified example of a Debezium PostgreSQL connector configuration:
{
"name": "pg-connector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.hostname": "localhost",
"database.port": "5432",
"database.user": "postgres",
"database.password": "password",
"database.dbname": "mydb",
"topic.prefix": "dbserver1",
"table.include.list": "public.customers"
}
}This config tells Debezium to monitor the mydb database on localhost:5432 and send changes from the public.customers table to Kafka topics prefixed with dbserver1.
What a CDC Event Looks Like
When Debezium captures a change, it publishes an event to Kafka. This event usually contains structured information:
before: The state of the record before the change (for updates/deletes).after: The state of the record after the change (for inserts/updates).op: The operation type (cfor create,ufor update,dfor delete,rfor read/snapshot).source: Metadata about the database, table, and transaction.
These events are often serialized as JSON or Avro.
Processing Change Events
A Kafka consumer application can read these CDC events and react to them. For instance, you might update a search index, invalidate a cache, or trigger another microservice.
Here's a basic Java consumer example illustrating how you might parse a Debezium event:
public class CdcConsumer {
public static void main(String[] args) {
// This is a simplified example.
// In reality, use KafkaConsumer and JSON/Avro parsing.
String jsonEvent = "{ \"payload\": { \"op\": \"c\", \"after\": { \"id\": 1, \"name\": \"Alice\" } } }";
// Imagine parsing jsonEvent here
String operationType = getOperationFromJson(jsonEvent, "op");
String newName = getOperationFromJson(jsonEvent, "name");
if ("c".equals(operationType)) {
System.out.println("New customer created: " + newName);
} else if ("u".equals(operationType)) {
System.out.println("Customer updated: " + newName);
}
}
// Placeholder for JSON parsing logic
private static String getOperationFromJson(String json, String key) {
if (key.equals("op")) return "c"; // Simulate 'c' operation
if (key.equals("name")) return "Alice"; // Simulate 'name'
return null;
}
}Practical CDC Use Cases
CDC with Kafka is incredibly versatile. Some common use cases include:
- Data Warehousing: Populate data warehouses with only changed data for efficient ETL (Extract, Transform, Load).
- Cache Invalidation: Automatically clear or update caches when underlying data changes.
- Audit Logs: Maintain a complete, immutable history of all data changes for compliance.
- Search Indexing: Keep search indexes (e.g., Elasticsearch) up-to-date with real-time database changes.
CDC Knowledge Check
Which of the following is a primary benefit of using log-based Change Data Capture (CDC) with Kafka?
CDC with Kafka: A Powerful Pattern
We've explored how Change Data Capture (CDC) is a powerful pattern for streaming database changes in real-time to Kafka. Using tools like Debezium, you can efficiently capture inserts, updates, and deletes from your databases.
This enables a wide array of real-time use cases, from data synchronization and analytics to event sourcing and microservice communication. Understanding CDC is key to building responsive, data-driven applications with Kafka.
Questions Fréquemment Posées
La leçon « Capture des modifications de données (CDC) » est-elle gratuite ?
Oui — le texte complet de « Capture des modifications de données (CDC) » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Apache Kafka & Stream Processing Fundamentals, passe à CoddyKit PRO. Le cours Apache Kafka & Stream Processing Fundamentals comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Capture des modifications de données (CDC) » ?
Utilisez Kafka pour capturer les modifications de données et diffuser en temps réel les changements de bases de données dans différents cas d’utilisation. Tu pratiques Apache Kafka & Stream Processing Fundamentals avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Apache Kafka & Stream Processing Fundamentals ?
Aucune expérience préalable n'est requise. Apache Kafka & Stream Processing Fundamentals sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « Capture des modifications de données (CDC) » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Apache Kafka & Stream Processing Fundamentals ?
Oui. Chaque leçon Apache Kafka & Stream Processing Fundamentals inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Approvisionnement par événements avec Kafka
- Capture des modifications de données (CDC)
- Modèles de communication entre microservices
- Le modèle Outbox pour une publication fiable des événements