Optimalisering av disk-I/O og nettverk

Selv om Kafkas sekvensielle skrivinger gjør HDD-er brukbare, gir SSD-er (Solid State Drives) vanligvis bedre ytelse, særlig for operasjoner som loggkomprimering eller gjenoppretting.

• SSD-er: Flere IOPS, lavere ventetid og bedre egnet for blandede arbeidsbelastninger eller når tilfeldig aksess forekommer (for eksempel under gjenoppretting).
• HDD-er: Kostnadseffektive for rene sekvensielle skrivinger, men kan bli en flaskehals ved tilfeldige lese- og skriveoperasjoner.

I produksjon anbefales SSD-er ofte på grunn av den jevne ytelsen.

RAID-konfigurasjoner (Redundant Array of Independent Disks) kan forbedre både ytelse og feiltoleranse.

• RAID 0 (striping): Fordeler data på flere disker og øker lese- og skrivehastigheten betydelig. Det gir imidlertid ingen redundans; hvis én disk svikter, går alle data tapt.
• RAID 10 (striping + speiling): Kombinerer hastigheten til RAID 0 med speilingen i RAID 1 for redundans. Dette er ofte det anbefalte valget for Kafka, siden det gir både høy ytelse og databeskyttelse.

Valget av filsystem og konfigurasjonen av det kan påvirke Kafkas diskytelse.

• XFS: Anbefales ofte for Kafka på grunn av god ytelse med store filer og svært god skalerbarhet.
• Ext4: Et vanlig og pålitelig valg, men XFS kan noen ganger gi bedre gjennomstrømming for Kafkas spesifikke I/O-mønstre.

Sørg for at filsystemet er montert med passende alternativer, for eksempel noatime, for å redusere unødvendige diskskrivinger.

Operativsystemets diskplanlegger styrer rekkefølgen som I/O-forespørsler sendes til disken i. Ulike planleggere er optimalisert for ulike arbeidsbelastninger:

• noop: En enkel FIFO-kø som ofte er best for SSD-er eller virtualiserte miljøer der hypervisoren håndterer planleggingen.
• deadline: Prioriterer I/O-forespørsler for å forhindre utsulting og egner seg godt for blandede arbeidsbelastninger.
• CFQ (Completely Fair Queuing): Prøver å fordele I/O-båndbredden rettferdig mellom prosesser, men kan introdusere ventetid.

For Kafka på SSD-er er noop vanligvis et godt utgangspunkt.

Kafkas evne til å håndtere høy datagjennomstrømming avhenger i stor grad av nettverksinfrastrukturen. Produsenter sender data, konsumenter mottar dem, og brokere replikerer dem – alt over nettverket.

Det anbefales ofte å bruke 10 Gigabit Ethernet (10GbE) eller høyere for Kafka-brokerne for å unngå flaskehalser i nettverket. Sørg også for at nettverkssvitsjene og kablingen støtter disse hastighetene.

TCP-buffere på både operativsystem- og Kafka-nivå kan påvirke nettverksytelsen betydelig.

• OS-nivå: Juster net.core.wmem_default, net.core.rmem_default og relaterte innstillinger for å tillate større buffere.
• Kafka-nivå: Juster socket.send.buffer.bytes (standard 100 KB) og socket.receive.buffer.bytes (standard 100 KB) i brokerkonfigurasjonen slik at de samsvarer med nettverkskapasiteten. Større buffere kan forbedre gjennomstrømmingen i nettverk med høy ventetid.

Moderne nettverkskort (NIC-er) har ofte maskinvarefunksjoner for avlastning som kan redusere CPU-belastningen og forbedre nettverksgjennomstrømningen.

• Checksum Offloading: NIC-et beregner og verifiserer TCP/IP-sjekksummer.
• TSO (TCP Segmentation Offload) og GSO (Generic Segmentation Offload): NIC-et håndterer oppdelingen av store pakker, noe som reduserer CPU-belastningen.

Sørg for at disse funksjonene er aktivert på Kafka-meglernes servere for optimal nettverksytelse. Du kan ofte kontrollere og konfigurere dem ved hjelp av verktøy som ethtool.

Godt jobbet! I denne leksjonen har vi sett på hvordan den underliggende infrastrukturen for Kafka kan optimaliseres.

• Vi har diskutert hvor viktig SSD-er og RAID 10 er for disk-I/O.
• Vi har lært om anbefalte filsystemer, som XFS, og diskplanleggere i operativsystemet.
• Vi har gått gjennom hvordan nettverksytelsen kan forbedres med høyhastighets-NIC-er, justering av TCP-buffere og maskinvareavlastning.

Ved å konfigurere disse grunnleggende elementene nøye kan De oppnå betydelige ytelsesforbedringer for Kafka-klyngen!