Pengoptimuman I/O Cakera dan Rangkaian

Walaupun tulisan berjujukan Kafka menjadikan HDD sesuai digunakan, Pemacu Keadaan Pepejal (SSD) lazimnya menawarkan prestasi yang lebih baik, khususnya untuk operasi seperti pemadatan log atau pemulihan.

• SSD: IOPS lebih tinggi, kependaman lebih rendah, dan lebih sesuai untuk beban kerja bercampur atau apabila capaian rawak berlaku (contohnya, semasa pemulihan).
• HDD: Menjimatkan kos untuk tulisan berjujukan sepenuhnya, tetapi boleh menjadi penghalang bagi bacaan/tulisan rawak.

Untuk penggunaan produksi, SSD sering disyorkan kerana prestasinya yang konsisten.

Konfigurasi RAID (Susunan Lebihan Cakera Bebas) boleh meningkatkan prestasi dan toleransi kerosakan.

• RAID 0 (Jalur): Menyebarkan data merentas berbilang cakera, lalu meningkatkan kelajuan bacaan/tulisan dengan ketara. Walau bagaimanapun, ia tidak menawarkan lebihan; jika satu cakera gagal, semua data akan hilang.
• RAID 10 (Jalur + Pencerminan): Menggabungkan kelajuan RAID 0 dengan pencerminan RAID 1 untuk menyediakan lebihan. Ia sering disyorkan untuk Kafka kerana memberikan prestasi tinggi dan perlindungan data.

Pilihan sistem fail dan konfigurasinya boleh mempengaruhi prestasi cakera Kafka.

• XFS: Sering disyorkan untuk Kafka kerana prestasinya yang kukuh dengan fail besar serta kebolehskalaan yang cemerlang.
• Ext4: Pilihan yang biasa dan boleh dipercayai, tetapi XFS kadangkala boleh menawarkan kadar pemprosesan yang lebih baik untuk corak I/O khusus Kafka.

Pastikan sistem fail anda dipasang dengan pilihan yang sesuai, seperti noatime, untuk mengurangkan tulisan cakera yang tidak diperlukan.

Penjadual cakera sistem pengendalian mengurus urutan permintaan I/O dihantar ke cakera. Penjadual yang berbeza mengoptimumkan beban kerja yang berbeza:

• noop: Baris gilir FIFO ringkas, selalunya paling baik untuk SSD atau persekitaran maya apabila hipervisor mengendalikan penjadualan.
• deadline: Mengutamakan permintaan I/O untuk mencegah kebuluran, dan sesuai untuk beban kerja bercampur.
• CFQ (Penggiliran Baris Gilir Adil Sepenuhnya): Cuba mengagihkan lebar jalur I/O secara adil antara proses, tetapi boleh menambah kependaman.

Untuk Kafka pada SSD, noop secara umumnya merupakan titik permulaan yang baik.

Keupayaan Kafka mengendalikan kadar pemprosesan data yang tinggi sangat bergantung pada infrastruktur rangkaian anda. Pengeluar menghantar data, pengguna menerimanya dan broker mereplikakannya – semuanya melalui rangkaian.

Menggunakan Ethernet 10 Gigabit (10GbE) atau lebih tinggi untuk broker Kafka merupakan cadangan biasa bagi mencegah kesesakan rangkaian. Pastikan suis rangkaian dan pendawaian anda juga menyokong kelajuan ini.

Penimbal TCP pada peringkat sistem pengendalian dan Kafka boleh mempengaruhi prestasi rangkaian dengan ketara.

• Peringkat OS: Tala net.core.wmem_default, net.core.rmem_default dan tetapan berkaitan untuk membenarkan penimbal yang lebih besar.
• Peringkat Kafka: Laraskan socket.send.buffer.bytes (lalai 100KB) dan socket.receive.buffer.bytes (lalai 100KB) dalam konfigurasi broker anda agar sepadan dengan kapasiti rangkaian. Penimbal yang lebih besar boleh meningkatkan kadar pemprosesan bagi rangkaian berkependaman tinggi.

Kad Antara Muka Rangkaian (NIC) moden selalunya mempunyai ciri pemunggahan perkakasan yang boleh mengurangkan penggunaan CPU dan meningkatkan daya pemprosesan rangkaian.

• Pemunggahan Jumlah Semak: NIC mengira atau mengesahkan jumlah semak TCP/IP.
• TSO (Pemunggahan Pembahagian TCP) & GSO (Pemunggahan Pembahagian Umum): NIC mengendalikan pembahagian paket besar, sekali gus mengurangkan beban CPU.

Pastikan ciri-ciri ini didayakan pada pelayan broker Kafka anda untuk mendapatkan prestasi rangkaian yang optimum. Anda biasanya boleh menyemak atau mengkonfigurasikannya menggunakan alat seperti ethtool.

Syabas! Dalam pelajaran ini, kita meneroka cara mengoptimumkan infrastruktur asas untuk Kafka.

• Kita membincangkan kepentingan SSD dan RAID 10 untuk I/O cakera.
• Kita mempelajari tentang sistem fail yang disyorkan seperti XFS serta penjadual cakera OS.
• Kita membincangkan cara meningkatkan prestasi rangkaian dengan NIC berkelajuan tinggi, penalaan penimbal TCP dan pemunggahan perkakasan.

Dengan mengkonfigurasi elemen asas ini dengan teliti, anda boleh memperoleh peningkatan prestasi yang ketara untuk kelompok Kafka anda!