Tips for ytelsesjustering av Kafka

Innstillingen linger.ms (standard 0 ms) angir hvor lenge produsenten skal vente på at flere meldinger skal komme, før en batch sendes, selv om batch.size ikke er nådd.

• Fungerer sammen med batch.size for å optimalisere batching.
• En liten positiv verdi (for eksempel 5–50 ms) kan øke gjennomstrømmingen betydelig.
• Lar batchene samle flere meldinger og reduserer antallet nettverkskall.

Dette innfører en liten forsinkelse, men gir ofte en bedre balanse mellom gjennomstrømming og forsinkelse.

Komprimering av meldingsbatcher før sending kan redusere bruken av nettverksbåndbredde og diskplass på Kafka-meglere drastisk. Egenskapen compression.type styrer dette.

• Typer: snappy, lz4, gzip, zstd.
• snappy og lz4: Gir en god balanse mellom komprimering og CPU-effektivitet.
• gzip og zstd: Gir høyere komprimeringsgrad, men bruker mer CPU.

Velg basert på begrensningene i nettverket og tilgjengelige CPU-ressurser.

Riktig bufferhåndtering hindrer at produsenter blokkeres, og sørger for at store meldinger kan sendes.

• buffer.memory (standard 32 MB): Det totale minnet for produsentposter som venter på å bli sendt. Øk verdien ved topper med høy gjennomstrømming for å hindre blokkerte send()-kall.
• max.request.size (standard 1 MB): Maksimal størrelse på én forespørsel (batch) som produsenten sender. Sørg for at den rommer de største meldingene eller komprimerte batchene.

Juster disse innstillingene slik at de samsvarer med meldingsegenskapene i applikasjonen Deres.

Konsumenter henter meldinger i batcher fra meglere. Innstillingen fetch.min.bytes (standard 1 byte) bestemmer den minste datamengden en megler skal returnere for en henteforespørsel.

• Øk fetch.min.bytes: Reduserer antallet henteforespørsler konsumenten sender.
• Fordel: Mindre nettverksoverhead, noe som forbedrer konsumentens gjennomstrømming.
• Avveining: Kan øke forsinkelsen noe fordi konsumenten venter på at mer data skal samles opp.

Nyttig for konsumenter med høy gjennomstrømming, der umiddelbar levering av meldinger ikke er høyeste prioritet.

fetch.max.wait.ms (standard 500 ms) angir hvor lenge en megler maksimalt skal vente på at fetch.min.bytes skal være tilgjengelig, før data sendes til konsumenten. Den fungerer sammen med fetch.min.bytes.

• En høyere verdi lar megleren samle mer data før den svarer.
• Dette reduserer antallet turer frem og tilbake over nettverket og øker gjennomstrømmingen ytterligere.
• Påvirker forsinkelsen direkte, siden konsumenter kan måtte vente lenger på data.

Juster disse to henteinnstillingene sammen for å finne den optimale balansen.

Innstillingen max.poll.records (standard 500) angir det maksimale antallet poster som returneres i ett enkelt kall til konsumentens poll()-metode.

• Behandling av meldinger i større batcher kan forbedre applikasjonens gjennomstrømming betydelig.
• Det reduserer overheaden fra hyppige poll()-kall og commit-operasjoner.
• Applikasjonen må være utformet slik at den kan håndtere disse større meldingsmengdene effektivt.

Juster verdien basert på applikasjonens behandlingskapasitet.

Manuell offset-commit gir detaljert kontroll, men bruk av automatisk commit (enable.auto.commit=true) med et tilpasset auto.commit.interval.ms kan forenkle håndteringen av konsumenten.

• Standardintervallet er 5000 ms (5 sekunder).
• Kortere intervall: Reduserer risikoen for at meldinger behandles på nytt ved feil (et mindre «at-least-once»-vindu).
• Lengre intervall: Reduserer hyppigheten av commit-forespørsler til Kafka, noe som potensielt kan forbedre gjennomstrømmingen litt, men samtidig øker risikoen for ny behandling.

Vurder avveiningen mellom risikoen for ny behandling og overheaden fra commit-operasjoner.

Vi har gått gjennom flere viktige Kafka-konfigurasjoner for produsenter og konsumenter med sikte på ytelsesoptimalisering:

• Produsenter: Juster batch.size, linger.ms, compression.type, buffer.memory og max.request.size for å optimalisere meldingssending.
• Konsumenter: Finjuster fetch.min.bytes, fetch.max.wait.ms og max.poll.records for effektiv henting og behandling av meldinger.

Husk at optimale innstillinger avhenger av arbeidsbelastningen. Test alltid endringer i det spesifikke miljøet Deres for å finne den beste balansen mellom gjennomstrømning, forsinkelse og ressursbruk.