Topics, partisjoner og offsets

Se for deg en TV-stasjon som kringkaster. Hver «kanal» (for eksempel Nyheter, Sport eller Film) er et Topic.

• Produsenter er kringkasterne som sender programmer til bestemte kanaler.
• Konsumenter er seerne som stiller inn på kanalene de foretrekker.

Meldinger i et topic er sortert og uforanderlige.

For å håndtere store mengder meldinger og muliggjøre parallell behandling deler Kafka et topic inn i flere Partitions.

Hver partition er en sortert og uforanderlig sekvens av meldinger i et topic.

Når du oppretter et topic, angir du hvor mange partitions det skal ha.

Partitions er avgjørende for Kafkas skalerbarhet. Flere konsumenter kan lese fra ulike partitions i det samme topic-et parallelt.

Det betyr at opptil 3 konsumenter (i den samme konsumentgruppen) kan behandle meldinger samtidig hvis et topic har 3 partitions.

Når en produsent sender en melding til et topic, avgjør Kafka hvilken partition den skal legges i.

Dette er ofte basert på en meldingsnøkkel. Meldinger med samme nøkkel havner vanligvis i samme partition, noe som sikrer rekkefølgen for relaterte hendelser.

Hvis ingen nøkkel oppgis, fordeles meldingene vanligvis etter round-robin-prinsippet.

I hver partition tildeles hver melding en unik, sekvensiell ID kalt en Offset.

Offset-en fungerer som et indeksnummer for meldinger i den aktuelle partitionen.

Den starter på 0 for den første meldingen og økes for hver nye melding.

Konsumenter bruker offsets til å holde oversikt over hvilke meldinger de allerede har behandlet i en partition.

Når en konsumentgruppe behandler meldinger, «committer» den offset-en sin. Dette angir den siste meldingen den behandlet uten feil.

Dermed kan konsumenten fortsette fra riktig posisjon etter en omstart eller feil.

Kafka håndterer som standard offset-commits automatisk og lagrer den sist behandlede offset-en for hver partition i et eget Kafka-topic (__consumer_offsets).

Denne mekanismen for å «lagre posisjonen» hindrer at allerede behandlede meldinger behandles på nytt, og sikrer pålitelig levering.

Godt jobbet! Du har fått tak på tre sentrale Kafka-konsepter:

• Topics: Kategorier for meldinger, omtrent som separate datafeeder.
• Partitions: Oppdelinger av et topic som muliggjør skalering og parallell konsumering.
• Offsets: Unike, sekvensielle ID-er for meldinger i en partition, som konsumenter bruker til å spore fremdrift.

Disse elementene fungerer sammen og gir Kafka robuste og skalerbare meldingsfunksjoner.