Apache Kafka & Stream Processing for Real-Time Systems
Apache Kafkaは最新のイベント駆動型アーキテクチャの中核であり、数千のエンジニアリングチームがサービス間でデータを確実に移動し、リアルタイム分析を強化し、大規模でプロデューサーとコンシューマーを分離するために使用しています。このトラックはKafkaの基本原理から本番レベルのストリーム処理までをカバーし、低レイテンシーと高スループットで連続データストリームを処理するシステムの設計、運用、チューニングのスキルを身につけることができます。
学習内容
Kafkaのトピック、パーティション、コンシューマーグループの仕組みを理解することから始まり、その後プログラマティックにメッセージを生成・消費するようになります。そこからは、データ統合のためのKafka Connect、Confluent Schema Registryでスキーマを管理し、Kafka Streams APIを使用してステートフルパイプラインを構築します。以降のコースではクラスター管理とモニタリング、ストリーム分析用のKSQLクエリレイヤーをカバーします。高度な内容ではクラスターアーキテクチャ、パフォーマンスチューニング、一般的なエンジニアリング課題を解決するための実践的なKafkaデザインパターンの応用について説明します。
学習パス
12コースはレベルA1からC2まで対応しています。トラックはIntroduction to Apache Kafka FundamentalsとProducing & Consuming Messages in Kafka（Aレベル）で始まり、その後B1でストリーム処理の概念とKafka Connectに進みます。B2の中盤コースではStreams API、Schema Registry、運用モニタリングをカバーします。最後の4つのC1コース——Advanced Kafka Cluster Architecture、Advanced Kafka Streams & KSQL、Kafka Performance & Tuning Strategies、Real-World Kafka Design Patterns——はエンジニアリング深度を高めます。トラックはC2のBuilding Scalable Stream Processing Systemsで終了し、すべての概念がエンドツーエンドのシステム設計に統合されます。
学習方法
各コースは短く焦点を絞ったレッスンに分かれており、組み込みコードエディターで完了でき、リアルタイムフィードバックが得られます。行き詰まったときはいつでもAIチューターを利用でき、すべての概念はおもちゃの例ではなく、実践的なKafkaシナリオから引き出されたハンズオン演習で強化されます。