Logstash: datainläsning och bearbetning
Lär er att använda Logstash för att samla in, parsa och transformera data från olika källor. Utforska vanliga filter och utdata för robusta datapipelines.
Logstash: datainläsning och bearbetning är en gratis lektion i Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) på CoddyKit. Detta är lektion 2 av 4. Du kan läsa vilka 3 lektioner som helst i den här lärvägen kostnadsfritt i sin helhet – därefter låser CoddyKit PRO upp alla lektioner, plus praktisk övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Den ingår i lärvägen för Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry), och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) innehåller totalt 4 lektioner.
Logstash: datapipelinen
Välkommen till Logstash! I ELK Stack är Logstash din kraftfulla datapipeline för databehandling med öppen källkod.
Den är utformad för att samla in data från olika källor, omvandla den och sedan skicka den till olika destinationer, oftast Elasticsearch.
Logstashs kärnarkitektur
Logstash bygger på ett enkelt men kraftfullt pipeline-koncept:
- Inputs: Där data kommer in i Logstash.
- Filters: Där data bearbetas och omvandlas.
- Outputs: Där bearbetade data skickas.
Tänk på det som ett löpande band för dina loggar!
Inputs: samla in dina loggar
Inputs är pipelinens första steg. De definierar hur Logstash samlar in data. Det finns många input-pluginer för olika källor.
Vanliga input-typer är:
file: För att läsa loggfiler från disk.beats: För att ta emot data från Elastic Beats (till exempel Filebeat).tcp/udp: För nätverksbaserad insamling av loggar.
Exempel: file-input
Här är ett enkelt konfigurationsutdrag för Logstash som konfigurerar en file-input-plugin för att läsa loggar från en specifik sökväg.
Detta instruerar Logstash att övervaka /var/log/my_app.log efter nya rader.
input {
file {
path => "/var/log/my_app.log"
start_position => "beginning"
# sincedb_path tracks read position.
# Use a persistent path in production.
sincedb_path => "/dev/null"
}
}Filters: gör data begriplig
Filters är kärnan i Logstashs bearbetningskraft. De omvandlar rå, ostrukturerad data till strukturerade, maskinläsbara händelser.
Detta är avgörande för att göra dina loggar sökbara och analyserbara i Elasticsearch.
Grok-filter: mönstermatchning
Filtret grok är mycket kraftfullt för att tolka ostrukturerade loggdata. Det använder reguljära uttryck tillsammans med fördefinierade mönster för att extrahera specifika fält.
Du kan till exempel extrahera en IP-adress, en tidsstämpel eller en HTTP-metod från en loggrad i klartext.
Exempel: Grok-filter i praktiken
Anta att en loggrad ser ut så här: 192.168.1.1 GET /api/data 200 123ms
Det här grok-filtret extraherar fält som clientip, method, request, response_code och response_time.
filter {
grok {
match => { "message" => "%{IP:clientip} %{WORD:method} %{URIPATH:request} %{NUMBER:response_code:int} %{NUMBER:response_time:int}ms" }
}
}Andra användbara filter
Även om grok är viktigt kan många andra filter förbättra dina data:
date: Tolkar tidsstämplar från loggrader till ett standardformat.mutate: Låter dig lägga till, ta bort, byta namn på eller ändra fält.json: Tolkar JSON-strängar i dina loggmeddelanden som strukturerade fält.kv: Extraherar nyckel-värde-par från en sträng.
Outputs: skicka ut data
Outputs är det sista steget i Logstash-pipelinen. De definierar vart dina bearbetade händelser skickas.
Den vanligaste outputen, särskilt i ELK Stack, är elasticsearch. Andra användbara outputs är stdout (för felsökning), file eller meddelandeköer som kafka.
Kontroll av Logstash-pipelinen
Nu testar vi din förståelse av Logstashs centrala komponenter och hur data flödar genom dem.
Sammanfattning: Logstash, din databearbetare
Du har lärt dig att Logstash är en viktig del av ELK Stack och fungerar som en flexibel motor för databearbetning.
- Det använder Inputs för att samla in data.
- Filters (som
grok) för att tolka och berika dessa data. - Och Outputs för att skicka de bearbetade, strukturerade händelserna till destinationer som Elasticsearch.
På så sätt omvandlas råa loggar till värdefull, sökbar information!
Lär dig Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 12
- Lektioner
- 48
Vanliga frågor
Är lektionen ”Logstash: datainläsning och bearbetning” gratis?
Ja – du kan läsa vilka 3 lektioner som helst i lärvägen Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry), inklusive ”Logstash: datainläsning och bearbetning”, kostnadsfritt i sin helhet här på webben. Därefter låser CoddyKit PRO upp alla lektioner, plus interaktiv övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Kursen i Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) innehåller totalt 4 lektioner.
Vad lär jag mig i ”Logstash: datainläsning och bearbetning”?
Lär er att använda Logstash för att samla in, parsa och transformera data från olika källor. Utforska vanliga filter och utdata för robusta datapipelines. Ni övar på Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry)?
Du behöver inga förkunskaper. Utbildningen i Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry) på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 2 av 4.
Hur lång tid tar lektionen ”Logstash: datainläsning och bearbetning”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry)-lektionen?
Ja. Varje Systemobservabilitet: loggning, mätvärden och tracing (ELK + OpenTelemetry)-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Elasticsearch: indexering och sökning
- Logstash: datainläsning och bearbetning
- Kibana: visualisering och dashboards
- Beats: lättviktiga dataöverförare