Mønstre, områder og BEGIN/END-blokke

I awk er et mønster en betingelse, der styrer, om en handlingsblok udføres for en given inputlinje. Den generelle form er:

awk 'pattern { action }' file

Hvis mønsteret matcher den aktuelle post, udføres handlingen. Hvis der ikke er angivet en handling, udskriver awk som standard hele linjen. Mønstre kan være:

• Regulære udtryk — /regex/
• Relationelle udtryk — $3 > 100
• Sammensatte udtryk — $1 == "ERROR" && $4 > 500
• Intervalmønstre — /start/,/end/
• Specielle mønstre — BEGIN og END

Forståelse af mønstre er indgangen til at bruge awk som et effektivt datafilter i stedet for blot som en kolonneudskriver.

Den mest almindelige mønstertype er et regulært udtryk omgivet af skråstreger. awk tester hver linje mod det regulære udtryk og udfører kun handlingen for match.

Nedenfor filtrerer vi en fil i stil med /var/log/syslog, så den kun viser linjer, der indeholder ordet ERROR:

Sæt ! foran et regulært udtryksmønster for at invertere det — så matcher det linjer, der ikke indeholder mønsteret. Kombinér flere betingelser med && (OG) eller || (ELLER) for finkornet kontrol.

• !/DEBUG/ — spring debuglinjer over
• $3 > 500 && $5 == "POST" — store POST-anmodninger
• /WARN/ || /ERROR/ — den ene eller den anden alvorlighedsgrad

Eksemplet nedenfor fortolker en forenklet adgangslog og udskriver kun POST-anmodninger med en svarstørrelse over 1000 bytes:

Et intervalmønster udvælger en sammenhængende blok af poster — fra den linje, der matcher /start/, til og med den linje, der matcher /end/. Syntaksen er:

awk '/start/,/end/ { action }' file

Vigtige egenskaber:

• Intervallet aktiveres på den første linje, der matcher /start/, og deaktiveres efter den første efterfølgende linje, der matcher /end/.
• Hvis /end/ aldrig matcher, forbliver intervallet aktivt indtil EOF.
• Flere ikke-overlappende intervaller i den samme fil behandles hver for sig.

Det gør intervalmønstre ideelle til at udtrække markerede sektioner fra konfigurationsfiler, logge med skilletekstrubrikker eller rapporter med flere blokke.

Forestil dig en serverkonfiguration med flere navngivne sektioner afgrænset af [section]-rubrikker. Vi vil kun have linjerne i [database]:

BEGIN-blokken kører én gang, før noget input læses. Den er velegnet til:

• At udskrive en rapportcentreret overskrift
• At initialisere variabler og tællere
• At indstille feltseparatoren (FS) eller andre indbyggede variabler
• At køre selvstændige awk-programmer, der ikke behøver input

Syntaks:

awk 'BEGIN { setup } pattern { action }' file

At indstille FS i BEGIN er det rene alternativ til flaget -F — især nyttigt, når du skriver programmer med flere regler, hvor separatorlogikken ligger i scriptet.

END-blokken kører én gang, efter den sidste post er behandlet. Det er det naturlige sted at:

• Udskrive totaler, gennemsnit og opsummeringer, der er samlet under behandlingen
• Tømme buffere eller lukke outputfiler
• Udskrive bundlinjer til formaterede rapporter

Variabler, der er indstillet under hovedreglerne, er stadig inden for samme gyldighedsområde i END — sådan fungerer løbende totaler. Eksemplet nedenfor summerer lønværdier fra en CSV-fil og udskriver totalen i bundteksten:

Den virkelige styrke viser sig, når du kombinerer alle tre blokke i ét selvstændigt awk-program, der udskriver en overskrift, behandler hver post og udskriver en opsummering. Dette mønster er grundlaget for shell-baserede rapporteringspipelines.

Nedenfor er en komplet rapportgenerator, der læser en CSV-fil med webanmodninger og udskriver detaljer for hver linje samt et endeligt antal anmodninger, der oversteg 1 sekund:

To ofte oversete outputvariabler kan indstilles på en enkel måde i BEGIN:

• OFS (outputfeltseparator) — indsættes mellem felter, når du genopbygger en post med $1=$1 eller bruger print $1, $2
• ORS (outputpostseparator) — tilføjes efter hvert print-kald (standardværdien er \n)

Hvis du indstiller OFS=",", kan du omformatere TSV til CSV i én gennemgang uden strengsammensætning. Hvis du ændrer ORS til "\n---\n", tilføjes der automatisk skilletegn mellem poster.

Intervalmønstre er særligt nyttige i analyse af driftslogge. En almindelig opgave er at udtrække alle loglinjer mellem begyndelsen og slutningen af en hændelse, identificeret af markørbeskeder som INCIDENT START og INCIDENT END.

I eksemplet nedenfor udtrækker awk kun linjerne i hændelsesintervallet og tæller ERROR-hændelserne i det — en kombination af et intervalmønster, en akkumulator og en END-opsummering:

Som standard inkluderer intervalmønstre de linjer, der selv matcher /start/ og /end/. Hvis du vil springe disse skiljelinjer over og kun beholde indholdet imellem dem, skal du beskytte handlingen med en negation eller en flagvariabel:

• Negationstilgang: /start/,/end/ { if (!/start/ && !/end/) print }
• Flagtilgang: Indstil manuelt en variabel til 1 ved /start/ og til 0 ved /end/

Flagtilgangen er mere robust, når skilleteksten også kan forekomme i brødteksten:

I denne lektion har du lært de tre mest effektive strukturelle funktioner i awk-programmer:

• Mønstre — regulære udtryk (/ERROR/), relationelle udtryk ($3 > 1000), negerede udtryk (!/DEBUG/) og sammensatte udtryk (&&, ||) styrer, hvilke poster der udløser en handling, uden at du behøver eksplicitte if-instruktioner.
• Intervalmønstre (/start/,/end/) udvælger sammenhængende blokke af poster og er perfekte til at udtrække hændelsesintervaller fra logge, konfigurationssektioner og rapportafsnit. Brug en flagvariabel (next + boolsk værdi), når du skal udelade selve skiljelinjerne.
• BEGIN-blokken — kører én gang før alt input og er ideel til at indstille FS, OFS og ORS, initialisere tællere og udskrive rapportoverskrifter.
• END-blokken — kører én gang efter alt input og er det rette sted at udskrive totaler, gennemsnit og bundtekster ved hjælp af variabler, der er samlet i hovedreglerne.

Tilsammen lader disse funktioner dig skrive komplette, selvforklarende awk-programmer, der indlæser rå tekst og genererer strukturerede, letlæselige rapporter — alt sammen i ét pipeline-trin uden midlertidige filer eller eksterne værktøjer.