Основные понятия Kafka: брокеры и топики

Давайте познакомимся с двумя фундаментальными строительными блоками Kafka: брокерами и топиками. Именно с их помощью Kafka хранит и организует ваши потоки данных.

Kafka-брокер — это отдельный сервер, на котором запущен Kafka. Он принимает сообщения от продюсеров, сохраняет их на диске и передает потребителям — это движок всей системы.

В реальных условиях несколько брокеров работают вместе как кластер Kafka. Это обеспечивает высокую доступность (если один брокер выйдет из строя, его функции возьмут на себя другие) и масштабируемость для обработки больших объемов данных.

Топик — это именованная категория или лента, в которую публикуются записи. Различные данные — например, «действия пользователя» или «платежи» — распределяются по разным топикам для поддержания порядка.

Представьте себе топик как именованную папку или таблицу в базе данных: логины отправляются в user_logins, заказы — в product_orders. Приложения быстро находят нужный им поток данных.

Каждое сообщение (или запись) публикуется в определенную тему (topic), а приложения подписываются на них, чтобы прочитать. Это модель «издатель-подписчик» (publish-subscribe) — тема служит каналом передачи для одного потока данных.

Топики размещаются на брокерах. Данные топика распределяются между одним или несколькими брокерами в кластере, и именно это распределение является ключом к масштабируемости и отказоустойчивости Kafka.

Вместе брокеры и топики обеспечивают масштабируемость, надежное хранение данных на диске, четкую организацию и разделение компонентов: производители и потребители взаимодействуют только через топик.

To make a stream of sensor data, you'd create a topic like sensor_readings, and Kafka readies its brokers to store and manage those messages.

Let's test your understanding of Kafka's core components!

You've got Kafka's two foundations: brokers (servers that store and serve data) and topics (logical streams hosted across them). Solid base.