Sette opp lokal Kafka med Docker

En minimal Kafka-klynge trenger to hovedkomponenter for å fungere:

• Zookeeper: Denne tjenesten administrerer Kafka-brokere og håndterer valg av leder, konfigurasjon og koordinering. Kafka er avhengig av Zookeeper for den operative tilstanden sin.
• Kafka Broker: Dette er kjerneserveren som lagrer topics, håndterer produksjon og konsumering av meldinger og replikerer data. Vanligvis kjører du minst én broker.

Vi definerer Kafka-oppsettet vårt ved hjelp av en docker-compose.yml-fil. Denne filen forteller Docker Compose hvilke tjenester som skal kjøres, hvilke images som skal brukes, og hvordan de skal konfigureres og kobles sammen i nettverket.

Hver tjeneste i filen representerer en container som skal startes. La oss bygge den trinn for trinn.

Først definerer vi Zookeeper-tjenesten. Vi bruker et standard Zookeeper-image og eksponerer standardklientporten.

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    container_name: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

Her mapper ports: "2181:2181" port 2181 i containeren til port 2181 på vertsmaskinen.

Deretter legger vi til Kafka-broker-tjenesten. Den må vite hvordan den skal koble seg til Zookeeper, og eksponerer også egne porter for klienter.

  kafka:
    image: confluentinc/cp-kafka:7.5.0
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - zookeeper

depends_on: zookeeper sørger for at Zookeeper starter før Kafka.

Når vi kombinerer begge tjenestene, ser docker-compose.yml-filen din slik ut:

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    container_name: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka:
    image: confluentinc/cp-kafka:7.5.0
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - zookeeper

Lagre dette innholdet i en fil med navnet docker-compose.yml i en tom katalog.

Når docker-compose.yml-filen er klar, går du til katalogen den ligger i, i terminalen. Bruk deretter følgende kommando for å starte Kafka-klyngen:

docker-compose up -d

• up: Bygger, oppretter eller oppretter på nytt, starter og kobler til containere for en tjeneste.
• -d: Kjører containere i frakoblet modus (i bakgrunnen).

Docker laster ned images (hvis de ikke allerede finnes) og starter først Zookeeper og deretter Kafka.

Etter at du har kjørt docker-compose up -d, kan du kontrollere at tjenestene kjører som de skal:

• docker ps: Viser alle Docker-containere som kjører. Du skal se zookeeper og kafka.
• docker logs kafka: Viser loggene for Kafka-containeren. Se etter meldinger som viser at den startet uten feil, for eksempel «started (kafka.server.KafkaServer)».

Bruk docker-compose down for å stoppe og fjerne containerne.

Gratulerer! Du har lært hvordan du setter opp en lokal Kafka-klynge med Docker Compose. Her er en kort oppsummering:

• Lokal Kafka gir deg et isolert utviklingsmiljø.
• Docker Compose bruker en docker-compose.yml-fil til å definere applikasjoner med flere containere.
• Et minimalt Kafka-oppsett krever Zookeeper og en Kafka Broker.
• docker-compose.yml angir images, porter og miljøvariabler.
• Bruk docker-compose up -d for å starte klyngen og docker-compose down for å stoppe den.

Nå har du en sandkasse der du kan bygge Spring Boot Kafka-applikasjoner!