Topicit, partitionit ja offsetit

Kuvittele televisioasema. Jokainen ”kanava” (kuten uutiset, urheilu tai elokuvat) on topic.

• Tuottajat ovat ohjelmia tietyille kanaville lähettäviä yleisradioyhtiöitä.
• Kuluttajat ovat katsojia, jotka virittävät television haluamilleen kanaville.

Topicin viestit ovat järjestyksessä, eikä niitä voi muuttaa.

Suurten viestimäärien käsittelemiseksi ja rinnakkaisen käsittelyn mahdollistamiseksi Kafka jakaa topicin useisiin osioihin.

Jokainen osio on topicin sisällä oleva viestien järjestetty ja muuttumaton jono.

Kun luot topicin, määrität, kuinka monta osiota siinä on.

Osiot ovat keskeinen osa Kafkan skaalautuvuutta. Useat kuluttajat voivat lukea saman topicin eri osioita rinnakkain.

Jos topicissa on siis kolme osiota, enintään kolme samaan kuluttajaryhmään kuuluvaa kuluttajaa voi käsitellä viestejä samanaikaisesti.

Kun tuottaja lähettää viestin topiciin, Kafka päättää, mihin osioon viesti sijoitetaan.

Tämä perustuu usein viestin avaimeen. Viestit, joilla on sama avain, sijoitetaan yleensä samaan osioon, mikä takaa toisiinsa liittyvien tapahtumien järjestyksen.

Jos avainta ei anneta, viestit jaetaan yleensä vuorotellen osioihin.

Jokaiselle osion viestille annetaan yksilöllinen, peräkkäinen tunniste, jota kutsutaan offsetiksi.

Offset toimii kyseisen osion viestien indeksinumerona.

Ensimmäisen viestin arvo on 0, ja arvo kasvaa jokaisen uuden viestin myötä.

Kuluttajat käyttävät offset-arvoja seuratakseen, mitkä osion viestit ne ovat jo käsitelleet.

Kun kuluttajaryhmä käsittelee viestejä, se ”commitoi” offsetinsa eli ilmoittaa viimeisen onnistuneesti käsittelemänsä viestin.

Näin kuluttaja voi jatkaa oikeasta kohdasta uudelleenkäynnistyksen tai virheen jälkeen.

Kafka hallitsee offsetien kommitoinnin oletusarvoisesti automaattisesti ja tallentaa kunkin osion viimeksi käsitellyn offsetin erityiseen Kafka-topiciin (__consumer_offsets).

Tämä ”sijainnin tallentamisen” mekanismi estää jo käsiteltyjen viestien uudelleenkäsittelyn ja varmistaa luotettavan toimituksen.

Hienoa työtä! Olet oppinut kolme Kafkan keskeistä käsitettä:

• Topicit: viestien luokkia, esimerkiksi erillisiä tietosyötteitä.
• Osiot: topicin jakoja, jotka mahdollistavat skaalautuvuuden ja rinnakkaisen kulutuksen.
• Offsetit: osion viestien yksilöllisiä, peräkkäisiä tunnisteita, joiden avulla kuluttajat seuraavat edistymistä.

Nämä osat toimivat yhdessä ja tarjoavat Kafkan tehokkaat ja skaalautuvat viestinvälitysominaisuudet.