Optimering af disk-I/O og netværk

Selvom Kafkas sekventielle skrivninger gør HDD'er anvendelige, giver Solid State-diske (SSD'er) generelt bedre ydeevne, især ved operationer som logkomprimering eller gendannelse.

• SSD'er: Højere IOPS, lavere latenstid og bedre egnet til blandede arbejdsbelastninger eller situationer med tilfældig adgang (f.eks. under gendannelse).
• HDD'er: Omkostningseffektive til rene sekventielle skrivninger, men kan være en flaskehals ved tilfældige læsninger og skrivninger.

Til produktion anbefales SSD'er ofte på grund af deres ensartede ydeevne.

RAID-konfigurationer (Redundant Array of Independent Disks) kan forbedre både ydeevne og fejltolerance.

• RAID 0 (striping): Fordeler data på flere diske og øger læse- og skrivehastighederne betydeligt. Det giver dog ingen redundans; hvis én disk svigter, går alle data tabt.
• RAID 10 (striping + spejling): Kombinerer RAID 0's hastighed med RAID 1's spejling for at opnå redundans. Det er ofte det anbefalede valg til Kafka, fordi det både giver høj ydeevne og databeskyttelse.

Valget af filsystem og dets konfiguration kan påvirke Kafkas diskydelse.

• XFS: Anbefales ofte til Kafka på grund af den robuste ydeevne med store filer og den fremragende skalerbarhed.
• Ext4: Et almindeligt og pålideligt valg, men XFS kan nogle gange give bedre gennemløb for Kafkas specifikke I/O-mønstre.

Sørg for, at filsystemet er monteret med passende indstillinger som noatime for at reducere unødvendige diskskrivninger.

Operativsystemets diskplanlægger styrer rækkefølgen, som I/O-forespørgsler sendes til disken i. Forskellige planlæggere er optimeret til forskellige arbejdsbelastninger:

• noop: En simpel FIFO-kø, som ofte er bedst til SSD'er eller virtualiserede miljøer, hvor hypervisoren håndterer planlægningen.
• deadline: Prioriterer I/O-forespørgsler for at forhindre udsultning og er velegnet til blandede arbejdsbelastninger.
• CFQ (Completely Fair Queuing): Forsøger at fordele I/O-båndbredden retfærdigt mellem processer, men kan øge latenstiden.

Til Kafka på SSD'er er noop generelt et godt udgangspunkt.

Kafkas evne til at håndtere et højt datagennemløb afhænger i høj grad af din netværksinfrastruktur. Producenter sender data, forbrugere modtager dem, og brokere replikerer dem – alt sammen via netværket.

Det anbefales ofte at bruge 10 Gigabit Ethernet (10GbE) eller hurtigere til dine Kafka-brokere for at forhindre netværksflaskehalse. Sørg også for, at netværksswitche og kabler understøtter disse hastigheder.

TCP-buffere på både operativsystem- og Kafka-niveau kan påvirke netværksydeevnen betydeligt.

• Operativsystemniveau: Juster net.core.wmem_default, net.core.rmem_default og relaterede indstillinger for at tillade større buffere.
• Kafka-niveau: Juster socket.send.buffer.bytes (standard 100 KB) og socket.receive.buffer.bytes (standard 100 KB) i brokerkonfigurationen, så de passer til netværkskapaciteten. Større buffere kan forbedre gennemløbet på netværk med høj latenstid.

Moderne netværkskort (NIC'er) har ofte hardwarefunktioner til aflastning, som kan reducere CPU-forbruget og forbedre netværksgennemstrømningen.

• Kontrolsum-aflastning: NIC'et beregner og verificerer TCP/IP-kontrolsummer.
• TSO (TCP Segmentation Offload) og GSO (Generic Segmentation Offload): NIC'et håndterer opdelingen af store pakker i segmenter, hvilket reducerer CPU-belastningen.

Sørg for, at disse funktioner er aktiveret på dine Kafka-brokerservere for at opnå optimal netværksydelse. Du kan ofte kontrollere og konfigurere dem med værktøjer som ethtool.

Godt gået! I denne lektion undersøgte vi, hvordan den underliggende infrastruktur til Kafka kan optimeres.

• Vi gennemgik betydningen af SSD'er og RAID 10 for disk-I/O.
• Vi lærte om anbefalede filsystemer som XFS og operativsystemets diskskemaer.
• Vi gennemgik, hvordan netværksydelsen kan forbedres med højhastigheds-NIC'er, justering af TCP-buffere og hardwareaflastning.

Ved omhyggeligt at konfigurere disse grundlæggende elementer kan du opnå betydelige ydelsesforbedringer i din Kafka-klynge!