Что такое Apache Kafka

Apache Kafka — это платформа с открытым исходным кодом для обработки потоков данных в режиме реального времени; представьте её как быструю и надёжную почтовую службу для ваших данных.

Данные создаются постоянно — клики, показания датчиков и многое другое. Традиционные системы не справляются с таким объемом и скоростью. Kafka создана для того, чтобы передавать всё это надежно.

Kafka рассматривает все данные как непрерывный поток событий. Каждое событие фиксирует нечто произошедшее, является неизменяемым, упорядоченным и бесконечно текущим.

Сильные стороны Kafka: масштабируемость для огромных объемов, надежность (данные не теряются), отказоустойчивость при сбоях и высокая пропускная способность — миллионы сообщений в секунду.

Представьте себе сайт электронной коммерции: каждый клик и покупка — это событие, которое Kafka мгновенно фиксирует. Это обеспечивает аналитику в режиме реального времени, персонализацию и обнаружение мошенничества.

Kafka выступает в роли центрального узла, позволяя микросервисам обмениваться сообщениями без прямой связи друг с другом. Такая развязка обеспечивает гибкость систем и упрощает их развитие.

Kafka отлично подходит для event sourcing (событийной модели): сохраняйте каждое изменение состояния как неизменяемое событие, а не только текущее значение. Вы получаете полный аудиторский след и возможность восстановить прошлые состояния.

У Kafka две основные роли: производители записывают события, а потребители их считывают. События хранятся в категориях, называемых топиками.

Давайте проверим, что вы узнали об основном предназначении Kafka.

Вы поняли суть: Kafka — это распределенная платформа потоковой передачи, созданная для обеспечения масштабируемости, долговечности и отказоустойчивости — аналитики, обмена сообщениями, поиска событий. Далее: ее основные компоненты.