Levy-I/O:n ja verkon optimointi

Vaikka Kafkan peräkkäiset kirjoitukset tekevät HDD-levyistä käyttökelpoisia, SSD-levyt (Solid State Drives) tarjoavat yleensä paremman suorituskyvyn erityisesti lokien tiivistyksen tai palautuksen kaltaisissa toiminnoissa.

• SSD-levyt: Enemmän IOPS-operaatioita, pienempi viive ja parempi soveltuvuus sekakuormiin tai satunnaiskäyttöön (esimerkiksi palautuksen aikana).
• HDD-levyt: Kustannustehokkaita puhtaasti peräkkäisissä kirjoituksissa, mutta voivat muodostaa pullonkaulan satunnaisissa luku- ja kirjoitusoperaatioissa.

Tuotantokäytössä SSD-levyjä suositellaan usein niiden tasaisen suorituskyvyn vuoksi.

RAID-kokoonpanot (Redundant Array of Independent Disks) voivat parantaa sekä suorituskykyä että vikasietoisuutta.

• RAID 0 (lomitus): Hajauttaa tiedot useille levyille ja nopeuttaa luku- ja kirjoitusoperaatioita merkittävästi. Se ei kuitenkaan tarjoa redundanssia: jos yksi levy vikaantuu, kaikki tiedot menetetään.
• RAID 10 (lomitus + peilaus): Yhdistää RAID 0:n nopeuden RAID 1:n peilaukseen ja redundanssiin. Sitä suositellaan usein Kafkalle, koska se tarjoaa sekä korkean suorituskyvyn että tietosuojan.

Tiedostojärjestelmän valinta ja sen konfiguraatio voivat vaikuttaa Kafkan levyjen suorituskykyyn.

• XFS: Sitä suositellaan usein Kafkalle, koska se toimii tehokkaasti suurten tiedostojen kanssa ja skaalautuu erinomaisesti.
• Ext4: Yleinen ja luotettava valinta, mutta XFS voi joskus tarjota paremman läpimenon Kafkan erityisissä I/O-kuormissa.

Varmistakaa, että tiedostojärjestelmä liitetään asianmukaisilla asetuksilla, kuten noatime, jotta tarpeettomat levyltä kirjoittamiset vähenevät.

Käyttöjärjestelmän levyajastin hallitsee järjestystä, jossa I/O-pyynnöt lähetetään levylle. Eri ajastimet optimoivat erilaisia kuormia:

• noop: Yksinkertainen FIFO-jono, joka on usein paras SSD-levyille tai virtualisoituihin ympäristöihin, joissa hypervisor hoitaa ajoituksen.
• deadline: Asettaa I/O-pyynnöt tärkeysjärjestykseen estääkseen niiden nälkiintymisen ja sopii hyvin sekakuormiin.
• CFQ (Completely Fair Queuing): Pyrkii jakamaan I/O-kaistanleveyden tasapuolisesti prosessien kesken, mutta voi lisätä viivettä.

Kafkalle SSD-levyillä noop on yleensä hyvä lähtökohta.

Kafkan kyky käsitellä suurta datamäärää riippuu voimakkaasti verkkoinfrastruktuurista. Tuottajat lähettävät dataa, consumerit vastaanottavat sitä ja välittäjät replikoivat sitä – kaikki verkon kautta.

Kafka-välittäjissä suositellaan yleisesti vähintään 10 gigabitin Ethernet-yhteyttä (10GbE) verkkopullonkaulojen estämiseksi. Varmistakaa, että myös verkkokytkimet ja kaapelointi tukevat näitä nopeuksia.

Sekä käyttöjärjestelmän että Kafkan TCP-puskurit voivat vaikuttaa merkittävästi verkon suorituskykyyn.

• Käyttöjärjestelmätaso: Säätäkää asetuksia net.core.wmem_default, net.core.rmem_default ja niihin liittyviä asetuksia suurempien puskurien sallimiseksi.
• Kafka-taso: Säätäkää välittäjän konfiguraatiossa asetuksia socket.send.buffer.bytes (oletusarvo 100 kt) ja socket.receive.buffer.bytes (oletusarvo 100 kt) vastaamaan verkon kapasiteettia. Suuremmat puskurit voivat parantaa läpimenoa suuren viiveen verkoissa.

Moderneissa verkkokorteissa (NIC) on usein laitteistotason kuormansiirto-ominaisuuksia, jotka voivat vähentää suorittimen käyttöä ja parantaa verkon läpäisykykyä.

• Tarkistussumman kuormansiirto: NIC laskee ja tarkistaa TCP/IP-tarkistussummat.
• TSO (TCP Segmentation Offload) ja GSO (Generic Segmentation Offload): NIC käsittelee suurten pakettien segmentoinnin, mikä vähentää suorittimen kuormitusta.

Varmistakaa, että nämä ominaisuudet ovat käytössä Kafka-välityspalvelimissanne optimaalisen verkkosuorituskyvyn saavuttamiseksi. Voitte usein tarkistaa ja määrittää ne esimerkiksi ethtool-työkaluilla.

Hienoa työtä! Tässä oppitunnissa tarkastelimme Kafka-alustan taustalla olevan infrastruktuurin optimointia.

• Keskustelimme SSD-levyjen ja RAID 10:n merkityksestä levyjen I/O-toiminnoille.
• Tutustuimme suositeltuihin tiedostojärjestelmiin, kuten XFS:ään, sekä käyttöjärjestelmän levynajoittimiin.
• Käsittelimme verkkosuorituskyvyn parantamista nopeilla verkkokorteilla, TCP-puskurien säätämisellä ja laitteistotason kuormansiirrolla.

Kun määritätte nämä perustavanlaatuiset osat huolellisesti, voitte saavuttaa merkittäviä suorituskykyparannuksia Kafka-klusterissanne!