실시간 시스템을 위한 Apache Kafka & 스트림 처리
Apache Kafka는 현대적인 이벤트 기반 아키텍처의 핵심입니다. 수천 개의 엔지니어링 팀이 서비스 간 데이터를 안정적으로 이동하고, 실시간 분석을 활용하며, 대규모에서 생산자와 소비자를 분리하는 데 사용합니다. 이 트랙은 Kafka의 첫 번째 원칙부터 프로덕션 급의 스트림 처리까지 다루며, 낮은 지연시간과 높은 처리량으로 지속적인 데이터 스트림을 처리하는 시스템을 설계, 운영, 튜닝할 수 있는 기술을 제공합니다.
학습 내용
Kafka의 토픽, 파티션, 컨슈머 그룹이 작동하는 방식을 이해하는 것부터 시작하여 프로그래매틱하게 메시지를 생산하고 소비하는 방법으로 진행합니다. 그 후 데이터 통합을 위해 Kafka Connect로 작업하고, Confluent Schema Registry로 스키마를 관리하며, Kafka Streams API를 사용하여 상태 기반 파이프라인을 구축합니다. 이후 과정에서는 클러스터 관리, 모니터링, 그리고 스트림 분석을 위한 KSQL 쿼리 레이어를 다룹니다. 고급 콘텐츠는 클러스터 아키텍처, 성능 튜닝, 그리고 일반적인 엔지니어링 문제를 해결하기 위한 실제 Kafka 설계 패턴을 다룹니다.
학습 경로
12개의 과정이 A1부터 C2 수준까지 아우릅니다. 트랙은 A 수준의 Apache Kafka 기초 입문과 Kafka에서 메시지 생산 & 소비로 시작하여, B1에서 스트림 처리 개념과 Kafka Connect로 진행합니다. B2 중간 과정은 Streams API, Schema Registry, 운영 모니터링을 다룹니다. 마지막 4개의 C1 과정 — Advanced Kafka Cluster Architecture, Advanced Kafka Streams & KSQL, Kafka Performance & Tuning Strategies, Real-World Kafka Design Patterns — 은 엔지니어링 깊이를 구축합니다. 트랙은 C2의 확장 가능한 스트림 처리 시스템 구축으로 마무리되며, 모든 개념이 엔드투엔드 시스템 설계로 수렴합니다.
작동 방식
각 과정은 실시간 피드백이 있는 내장 코드 에디터에서 완료하는 짧고 집중된 레슨으로 나뉩니다. 막히는 순간마다 AI 튜터를 이용할 수 있으며, 모든 개념은 장난감 예제가 아닌 실제 Kafka 시나리오에서 도출한 실습 연습으로 강화됩니다.