Brokerin määritys ja optimointi

Jokainen Kafka-klusterin välittäjä tarvitsee yksilöllisen tunnisteen. Se määritetään server.properties-tiedoston parametrilla broker.id.

Tunnisteen on oltava epänegatiivinen kokonaisluku ja yksilöllinen kaikissa klusterin välittäjissä. Kafka käyttää tätä tunnistetta välittäjien tunnistamiseen replikointia, johtajan valintaa ja muita toimintoja varten.

log.dirs-parametri määrittää, minne Kafka tallentaa lokisegmenttinsä eli aiheiden ja osioiden varsinaiset tiedot. Tämä on tärkeä asetus suorituskyvyn ja luotettavuuden kannalta.

• Useita levyjä: Käyttäkää pilkuilla eroteltua luetteloa eri fyysisillä levyillä sijaitsevista hakemistoista, jotta I/O-rinnakkaisuus paranee.
• Erilliset levyt: Käyttäkää mieluiten levyjä, jotka on varattu yksinomaan Kafka-lokeille ja erotettu käyttöjärjestelmästä tai muista sovelluksista.

Kafka-välittäjät viestivät verkkokuuntelijoiden kautta. Parametrit listeners ja advertised.listeners määrittävät, miten clientit ja muut välittäjät muodostavat yhteyden.

• listeners: Rajapinnat, joihin välittäjä sitoutuu (esimerkiksi PLAINTEXT://:9092).
• advertised.listeners: Osoite, jota clientit ja välittäjät käyttävät yhteyden muodostamiseen (esimerkiksi PLAINTEXT://your.host.name:9092). Tämä on ratkaisevan tärkeä ulkoisessa käytössä ja usean isännän kokoonpanoissa.

Kun aihe luodaan ilman nimenomaisia osiointi- tai replikointiasetuksia, Kafka käyttää välittäjätason oletuksia. Ne määritetään asetuksilla num.partitions ja default.replication.factor.

• num.partitions: Määrittää uusien aiheiden osioiden oletusmäärän. Useammat osiot mahdollistavat paremman rinnakkaisuuden.
• default.replication.factor: Määrittää uusien aiheiden replikoiden oletusmäärän. Suurempi replikointi parantaa vikasietoisuutta.

Yleensä suositellaan näiden arvojen määrittämistä erikseen kullekin aiheelle, mutta oletukset toimivat vararatkaisuna.

Kafka säilyttää viestejä määritettävän ajan tai siihen asti, kunnes ne saavuttavat tietyn koon. Nämä asetukset estävät levyjen täyttymisen ja ovat ratkaisevan tärkeitä tallennustilan hallinnassa.

• log.retention.hours: Kuinka kauan viestejä säilytetään (esimerkiksi 168 tuntia = 7 päivää).
• log.retention.bytes: Lokisegmentin enimmäiskoko, jonka saavuttamisen jälkeen segmentti voidaan poistaa.

Kafka poistaa viestit sen rajoituksen perusteella, joka saavutetaan ensin.

Kafka mahdollistaa viestin enimmäiskoon määrittämisen välittäjätasolla asetuksella message.max.bytes, jotta liian suuret viestit eivät heikennä välittäjän suorituskykyä tai aiheuta verkko-ongelmia.

Rajoitus koskee pakatun viestierän kokonaiskokoa. Jos tuottaja yrittää lähettää tätä suuremman viestin, se hylätään. Myös tuottajilla on oma max.request.size -asetuksensa.

server.properties-tiedoston lisäksi myös taustalla oleva Java-virtuaalikone (JVM) ja käyttöjärjestelmä (OS) on optimoitava Kafkan parhaan mahdollisen suorituskyvyn saavuttamiseksi.

• JVM-keon koko: Määrittäkää KAFKA_HEAP_OPTS riittävän muistin varaamiseksi (esimerkiksi 5–8 Gt omistetuille välittäjille).
• Roskienkeruu: Valitkaa tehokas GC-algoritmi (esimerkiksi G1GC) ja säätäkää sen parametreja.
• Tiedostokuvaajat: Kasvattakaa käyttöjärjestelmän avointen tiedostokuvaajien rajoja, sillä Kafka käyttää niitä paljon lokeihin ja yhteyksiin.

Olemme käsitelleet keskeiset Kafka-välittäjän konfiguraatiot, jotka vaikuttavat suorituskykyyn, vakauteen ja resurssien käyttöön.

• server.properties-tiedosto on keskeinen välittäjän toiminnan kannalta.
• Keskeiset parametrit, kuten broker.id, log.dirs, listeners, log.retention.hours ja message.max.bytes, ovat välttämättömiä oikean konfiguraation kannalta.
• Muistakaa huomioida myös JVM- ja käyttöjärjestelmätason optimointi, jotta klusteri on todella optimoitu.

Huolellinen optimointi varmistaa, että Kafka-klusteri pystyy käsittelemään datavirtojanne tehokkaasti ja luotettavasti.