Optimalisatie van disk-I/O en netwerk

Hoewel Kafka's sequentiële schrijfbewerkingen HDD's bruikbaar maken, bieden Solid State Drives (SSD's) over het algemeen betere prestaties, vooral bij bewerkingen zoals logcompactie of herstel.

• SSD's: Meer IOPS, lagere latentie en beter geschikt voor gemengde werklasten of situaties waarin willekeurige toegang plaatsvindt (bijvoorbeeld tijdens herstel).
• HDD's: Kosteneffectief voor uitsluitend sequentiële schrijfbewerkingen, maar kunnen een knelpunt vormen bij willekeurige lees- en schrijfbewerkingen.

Voor productieomgevingen worden SSD's vaak aanbevolen vanwege hun consistente prestaties.

Configuraties met RAID (Redundant Array of Independent Disks) kunnen zowel de prestaties als de fouttolerantie verbeteren.

• RAID 0 (striping): Verdeelt gegevens over meerdere schijven, waardoor de lees- en schrijfsnelheid aanzienlijk toeneemt. Er is echter geen redundantie: als één schijf uitvalt, gaan alle gegevens verloren.
• RAID 10 (striping + mirroring): Combineert de snelheid van RAID 0 met de spiegeling van RAID 1 voor redundantie. Dit is voor Kafka vaak de aanbevolen keuze, omdat het zowel hoge prestaties als gegevensbescherming biedt.

De keuze en configuratie van het bestandssysteem kunnen de schijfprestaties van Kafka beïnvloeden.

• XFS: Wordt vaak aanbevolen voor Kafka vanwege de sterke prestaties met grote bestanden en uitstekende schaalbaarheid.
• Ext4: Een veelgebruikte en betrouwbare keuze, maar XFS kan voor de specifieke I/O-patronen van Kafka soms een hogere verwerkingscapaciteit bieden.

Controleer of je bestandssysteem met geschikte opties is aangekoppeld, zoals noatime, om onnodige schrijfbewerkingen naar de schijf te beperken.

De schijfplanner van het besturingssysteem beheert de volgorde waarin I/O-verzoeken naar de schijf worden verzonden. Verschillende planners zijn geoptimaliseerd voor verschillende werklasten:

• noop: Een eenvoudige FIFO-wachtrij, die vaak het beste werkt voor SSD's of gevirtualiseerde omgevingen waarin de hypervisor de planning uitvoert.
• deadline: Geeft prioriteit aan I/O-verzoeken om uithongering te voorkomen en is geschikt voor gemengde werklasten.
• CFQ (Completely Fair Queuing): Probeert de I/O-bandbreedte eerlijk over processen te verdelen, maar kan latentie veroorzaken.

Voor Kafka op SSD's is noop over het algemeen een goed uitgangspunt.

Het vermogen van Kafka om een hoge hoeveelheid gegevens te verwerken hangt sterk af van je netwerkinfrastructuur. Producers verzenden gegevens, consumers ontvangen deze en brokers repliceren ze – allemaal via het netwerk.

Het gebruik van 10 Gigabit Ethernet (10GbE) of sneller voor je Kafka-brokers wordt vaak aanbevolen om netwerkknelpunten te voorkomen. Zorg er ook voor dat je netwerkswitches en bekabeling deze snelheden ondersteunen.

TCP-buffers op zowel besturingssysteem- als Kafka-niveau kunnen de netwerkprestaties aanzienlijk beïnvloeden.

• OS-niveau: Stem net.core.wmem_default, net.core.rmem_default en vergelijkbare instellingen af om grotere buffers toe te staan.
• Kafka-niveau: Pas socket.send.buffer.bytes (standaard 100 KB) en socket.receive.buffer.bytes (standaard 100 KB) aan in je brokerconfiguratie zodat ze bij je netwerkcapaciteit passen. Grotere buffers kunnen de verwerkingscapaciteit verbeteren op netwerken met hoge latentie.

Moderne netwerkinterfacekaarten (NIC's) beschikken vaak over hardwarefuncties voor offloading die het CPU-gebruik kunnen verlagen en de netwerkdoorvoer kunnen verbeteren.

• Checksum-offloading: De NIC berekent en controleert TCP/IP-checksums.
• TSO (TCP Segmentation Offload) & GSO (Generic Segmentation Offload): De NIC verwerkt het opdelen van grote pakketten, waardoor de CPU minder wordt belast.

Zorg dat deze functies zijn ingeschakeld op de Kafka-brokerservers voor optimale netwerkprestaties. Je kunt dit vaak controleren en configureren met hulpmiddelen zoals ethtool.

Goed gedaan! In deze les hebben we besproken hoe je de onderliggende infrastructuur voor Kafka optimaliseert.

• We hebben het belang van SSD's en RAID 10 voor schijf-I/O besproken.
• We hebben geleerd over aanbevolen bestandssystemen zoals XFS en schijfplanners van het besturingssysteem.
• We hebben besproken hoe je netwerkprestaties verbetert met NIC's met hoge snelheid, het afstemmen van TCP-buffers en hardware-offloading.

Door deze fundamentele onderdelen zorgvuldig te configureren, kun je aanzienlijke prestatiewinst behalen voor je Kafka-cluster!