Koncept inom centraliserad loggning

Ett typiskt system för centraliserad loggning består av flera viktiga komponenter som samarbetar. Se det som en pipeline för dina loggdata.

Huvuddelarna är:

• Agenter: Samlar in loggar från applikationer.
• Insamlare/aggregatorer: Bearbetar och berikar loggar.
• Lagring: Lagrar loggar för långsiktig bevaring och sökning.

Agenter är resurssnåla program som installeras på varje server eller i varje applikationscontainer. Deras huvudsakliga uppgift är att bevaka nya loggposter och skicka dem vidare till nästa steg.

Vanliga exempel är Filebeat, Fluent Bit och rsyslog.

Agenter gör mer än att bara läsa filer. De kan:

• Följa loggfiler: Läsa nya rader allt eftersom de skrivs.
• Läsa från standardutdata/-fel: Fånga konsolloggar.
• Buffra data: Lagra loggar tillfälligt om destinationen inte är tillgänglig.
• Lägga till grundläggande metadata: Till exempel värdnamn eller IP-adress.

De är utformade för att vara effektiva och använda minimalt med resurser.

Efter agenterna går loggarna ofta till en insamlare eller aggregator. Det är kraftfullare komponenter som är utformade för att ta emot loggar från många agenter, bearbeta dem och förbereda dem för lagring.

Exempel är Logstash, Fluentd och Vector.

Insamlare utför viktiga uppgifter för att göra dina loggar användbara:

• Tolkning: Extrahera meningsfulla fält från ostrukturerade loggrader.
• Filtrering: Ta bort irrelevanta loggar eller specifika fält.
• Berikning: Lägga till mer sammanhang, till exempel användar-ID:n eller geografiska data.
• Dirigering: Skicka loggar till olika destinationer baserat på deras innehåll.

När loggarna har bearbetats skickas de till ett lagringslager. Där finns loggarna för sökning, analys och långsiktig bevaring.

Viktiga egenskaper hos bra logglagring:

• Skalbarhet: Hanterar enorma datamängder.
• Sökbarhet: Tillåter snabba och komplexa frågor.
• Beständighet: Säkerställer att loggar inte går förlorade.

Vanliga alternativ är Elasticsearch, Splunk och molnbaserad objektlagring som AWS S3.

Att lagra loggarna är bara halva arbetet. Du behöver verktyg för att utforska och visualisera dem! Det innebär vanligtvis ett användargränssnitt (UI) som ansluter till lagringen.

Verktyg som Kibana (för Elasticsearch) låter dig söka, filtrera, skapa instrumentpaneler och konfigurera aviseringar baserat på dina loggdata.

Nu sätter vi ihop alla delar. En loggpost följer vanligtvis denna väg:

1. En applikation genererar ett loggmeddelande.
2. En loggningsagent samlar in loggen från applikationens värd.
3. Agenten skickar loggen till en logginsamlare/aggregator.
4. Insamlaren bearbetar och omvandlar loggen.
5. Insamlaren vidarebefordrar den bearbetade loggen till logglagringen.
6. En användare använder ett visualiseringsverktyg för att söka i och analysera de lagrade loggarna.

I den här lektionen utforskade vi arkitekturen hos system för centraliserad loggning. Ni lärde er om de viktiga rollerna hos:

• Loggningsagenter: Samlar effektivt in loggar.
• Logginsamlare/aggregatorer: Bearbetar och berikar loggar.
• Logglagring: Tillhandahåller skalbara och sökbara loggarkiv.

Den här uppsättningen möjliggör effektiv felsökning och analys i komplexa distribuerade system. Nästa steg är att gå igenom praktiska metoder för att samla in och tolka dessa loggar!