Gambaran Keseluruhan Seni Bina Kafka

Apabila anda mempunyai berbilang broker, broker tersebut membentuk kelompok Kafka. Kelompok ini berfungsi bersama sebagai satu sistem yang sangat tersedia.

Jika satu broker gagal, broker lain boleh mengambil alih tanggungjawabnya, bagi memastikan pemprosesan data diteruskan tanpa gangguan. Perkara ini penting untuk sistem yang kukuh.

Untuk membolehkan broker berfungsi bersama dengan berkesan, broker memerlukan penyelaras. Di sinilah Apache ZooKeeper berperanan.

ZooKeeper mengurus dan menyelaras broker Kafka. ZooKeeper menjejaki:

• Broker yang masih hidup dan tersedia.
• Konfigurasi topik dan pembahagian.
• Pemilihan pengawal (broker yang menjadi 'ketua').

ZooKeeper bertindak sebagai sumber kebenaran pusat untuk metadata kelompok.

Dalam Kafka, data disusun ke dalam topik. Topik ialah kategori atau nama suapan yang menjadi tempat rekod diterbitkan. Anggaplah ia seperti folder untuk jenis mesej tertentu.

Contohnya, anda mungkin mempunyai topik user_signups untuk pendaftaran pengguna baharu dan topik product_views untuk aktiviti penyemakan imbas pengguna.

Untuk mengendalikan jumlah data yang besar dan membolehkan pemprosesan selari, topik dibahagikan kepada pembahagian.

• Setiap pembahagian ialah urutan rekod yang tersusun dan tidak boleh diubah.
• Data dalam pembahagian ditambah pada log.
• Pembahagian diedarkan merentasi broker, lalu membolehkan penskalaan mendatar.

Ini bermaksud berbilang pengguna boleh membaca daripada pembahagian yang berbeza dalam topik yang sama secara serentak.

Pada cakera, setiap pembahagian disimpan sebagai log. Log ini kemudiannya dipecahkan kepada segmen.

• Segmen ialah fail fizikal pada sistem fail broker.
• Mesej baharu sentiasa ditambah pada segmen aktif.
• Segmen lama boleh dipadamkan atau dipadatkan berdasarkan dasar pengekalan.

Penyimpanan berstruktur log ini sangat dioptimumkan untuk penulisan dan pembacaan berjujukan, menjadikan Kafka berprestasi tinggi.

Reka bentuk teras Kafka bergantung pada konsep log komitmen yang tidak boleh diubah. Setelah mesej ditulis ke dalam pembahagian, mesej itu tidak boleh diubah.

Mesej baharu sentiasa ditambah pada penghujung. Prinsip yang ringkas namun berkuasa ini merupakan asas kepada jaminan ketekalan dan ketahanan Kafka.

Aplikasi berinteraksi dengan kelompok Kafka menggunakan klien:

• Pengeluar: Aplikasi yang menerbitkan (menghantar) mesej ke topik Kafka.
• Pengguna: Aplikasi yang melanggan topik dan memproses mesej.

Klien ini tidak berinteraksi secara terus antara satu sama lain, sebaliknya hanya dengan broker Kafka. Hal ini menghasilkan sistem yang sangat terasing.

Kafka mencapai toleransi kegagalan yang tinggi melalui replikasi. Setiap pembahagian boleh mempunyai berbilang salinan (replika) yang tersebar merentasi broker yang berbeza.

• Satu replika ialah ketua yang mengendalikan semua permintaan bacaan dan penulisan untuk pembahagian tersebut.
• Replika lain ialah pengikut yang mereplikasi data ketua secara pasif.

Jika ketua gagal, ZooKeeper membantu memilih ketua baharu daripada kalangan pengikut, bagi memastikan perkhidmatan berterusan.

Syabas! Dalam pelajaran ini, kita meneroka seni bina asas Apache Kafka.

• Broker membentuk kelompok teragih yang menyimpan dan menyediakan data.
• ZooKeeper bertindak sebagai penyelaras penting untuk kelompok.
• Data disusun ke dalam topik, yang dibahagikan kepada pembahagian untuk kebolehskalaan.
• Pembahagian disimpan sebagai log yang tidak boleh diubah pada cakera.
• Pengeluar menghantar mesej, manakala pengguna membacanya.
• Replikasi memastikan toleransi kegagalan dan ketersediaan tinggi.

Reka bentuk teragih ini menjadikan Kafka amat kukuh dan boleh diskalakan untuk penstriman data masa nyata!