Commit-loggen: så lagrar Kafka data

I grunden är Kafka en distribuerad, append-only commit-logg. Producenter lägger till data i slutet, och data ändras aldrig på plats – det är hemligheten bakom Kafkas snabbhet och hållbarhet.

Varje post skrivs sekventiellt sist i en partitions logg. Sekventiella diskskrivningar är mycket snabbare än slumpmässiga skrivningar och ger hög genomströmning även på billiga diskar.

Varje post får en monotont ökande offset – dess position i partitionen. Offsets är unika inom en partition och återanvänds aldrig.

Till skillnad från en kö raderas en post inte när den konsumeras. Många konsumenter kan läsa samma logg oberoende av varandra, och varje konsument håller reda på sin egen offset.

En partitionslogg delas upp i segment-filer på disken. Endast det aktiva segmentet skrivs till; äldre segment är oföränderliga och kan raderas eller kompakteras.

Kafka behåller data under en konfigurerbar tidsperiod, oavsett om den har konsumerats eller inte. Standardvärdet för retention är 7 dagar.

Ni kan även begränsa en partition efter storlek. Den gräns som nås först – tid eller bytes – utlöser radering av de äldsta segmenten.

I stället för att radera data baserat på ålder behåller kompaktering endast den senaste posten per nyckel – perfekt för changelog-topics där ni bara vill ha varje nyckels aktuella värde.

Kafka skickar läsningar direkt från operativsystemets page cache till nätverket med hjälp av zero-copy och hoppar därmed över extra minneskopieringar. Det är ytterligare en viktig anledning till att konsumtionen går så snabbt.

Poster är hållbara eftersom de skrivs till disk och replikeras till andra brokers. Även om operativsystemets cache går förlorad bevarar replikerna data.

Commit-loggen förklarar Kafkas egenskaper: sekventiella skrivningar för snabbhet, offsets för läsningar som kan spelas upp igen, retention och kompaktering för lagring samt replikering för hållbarhet.

Ni har lärt er hur Kafka lagrar data: i en append-only commit-logg med stabila offsets, läsningar som inte raderar data, retention tillsammans med kompaktering samt replikering för hållbarhet.