awk-funktioner, printf-formatering och rapportgenerering

När dina awk-program växer från enradsuttryck till pipeliner med flera steg blir två funktioner nödvändiga: användardefinierade funktioner och printf-formatering.

Funktioner låter dig kapsla in återanvändbar logik — en procentberäknare, en funktion som tar bort överflödiga blanksteg eller en enhetsomvandlare — så att du skriver den en gång och kan anropa den var som helst i samma program. Med printf kan du styra exakt hur utdata ser ut: kolumnbredder, decimaler, utfyllnad och justering.

Tillsammans omvandlar de råa loggrader till välformaterade, lättlästa rapporter som ingenjörer och chefer kan agera utifrån.

• Funktioner minskar duplicering och gör program möjliga att testa isolerat.
• printf justerar data i kolumner med fast bredd, så att rapporter förblir lättlästa även när indatans längder varierar.
• Båda funktionerna fungerar i POSIX awk, gawk och mawk — inga tillägg behövs.

En användarfunktion deklareras med nyckelordet function, före eller efter valfria mönster-åtgärdsregler. Syntaxen är:

function name(param1, param2,    local1, local2) {
    # body
    return value
}

Ett viktigt awk-idiom: lokala variabler är helt enkelt extra parametrar med extra blanksteg framför sig. Det finns inget nyckelord local — konventionen med extra blanksteg visar att parametrarna är lokala och inte argument som anroparen skickar in.

• Alla variabler som inte deklareras som parametrar är globala som standard.
• Funktioner kan anropa sig själva rekursivt.
• return är valfritt; utan det returnerar funktionen en tom sträng.

Funktioner är särskilt användbara för återkommande strängoperationer. Tänk på att ta bort inledande och avslutande blanksteg — något som rå loggdata ofta behöver innan jämförelser eller rapportering.

Exemplet nedan definierar trim(s) med hjälp av gsub och använder den för varje post, så att huvudregeln förblir ren och lättläst.

• gsub(regex, replacement, target) ändrar target på plats och returnerar antalet ersättningar.
• Om du placerar reguljära uttryckets logik i en funktion kan regelblocket fokusera på affärslogiken.
• Du kan enhetstesta genom att skicka egenskapade strängar direkt i ett BEGIN-block.

printf i awk följer samma konventioner som C och Bashs inbyggda printf. Den viktigaste skillnaden mot print är att printf aldrig lägger till en radbrytning automatiskt — du måste själv lägga till \n.

Vanliga formatangivelser:

• %s — sträng
• %d — heltal
• %f — flyttal
• %e — vetenskaplig notation
• %g — den kortare av %f/%e

Bredd och precision styrs genom att placera siffror mellan % och formatangivelsen: %-20s vänsterjusterar i ett fält med 20 tecken; %8.2f ger ett flyttal i ett 8 tecken brett fält med 2 decimaler.

En välformaterad rapport behöver en rubrikrad och en avskiljarrad. Blocket BEGIN är den naturliga platsen att skriva ut dessa på — det körs en gång innan någon indata bearbetas.

Tricket är att matcha bredderna i rubriken exakt med bredderna som används i dataraderna. Genom att definiera breddkonstanter i BEGIN (eller i en funktion) hålls allt synkroniserat när du senare justerar kolumnbredderna.

• Använd printf med en avskiljarsträng av bindestreck för att rita skiljelinjen.
• Avsluta alltid rubrikrader med \n.
• Kombinera en BEGIN-rubrik, rader per post och en END-sidfot för en komplett rapportstruktur.

När du bygger rapporter med flera kolumner behöver du ofta samma formateringsanrop på flera ställen — till exempel för att visa en procentstapel eller omvandla byte till en lättläst enhet. Genom att placera detta i en funktion undviker du duplicering och gör formatet enkelt att ändra globalt.

Funktionen nedan omvandlar byte till KB, MB eller GB och returnerar en formaterad sträng. Den anropande regeln skickar helt enkelt in $NF (det sista fältet) och skriver ut det som returneras.

Verkliga rapporter behöver ofta totalsummor, medelvärden eller rangordningar – värden som inte kan beräknas förrän alla indata har lästs in. Mönstret är:

• Samla data i associativa matriser under fasen där varje post behandlas.
• Beräkna härledda värden (medelvärden, procenttal) i END.
• Skriv endast ut formaterade resultat från END, så att kolumnbredderna kan anpassas efter hela datamängden.

Detta mönster med fördröjd utskrift är ett av de mest kraftfulla idiomen när man genererar rapporter i awk. Exemplet nedan räknar antalet förfrågningar och antalet svarbyte per HTTP-statuskod från en åtkomstlogg.

awk stöder rekursion. Ett klassiskt användningsområde är att beräkna fakulteter eller generera upprepade strängar (till exempel en rad med bindestreck som är lika bred som terminalen). Rekursion är mindre vanligt i awk än i programspråk för allmänna ändamål, men fungerar korrekt och finns i alla större implementationer.

Exemplet nedan definierar en rekursiv funktion repeat(s, n) och använder den för att rita avgränsningslinjer som automatiskt matchar bredden på den bredaste dataraden – inga hårdkodade bindestreck behövs.

• Undvik djup rekursion för stora indata – awk har ingen optimering av svansanrop.
• För enkel upprepning är sprintf("%*s", n, "") tillsammans med gsub(/ /, "-") snabbare, men mindre pedagogiskt.

aw:s printf (och print) kan omdirigera utdata till filer eller skicka den till skalkommandon via en pipe – direkt inifrån awk-programmet, utan att hela programmet behöver köras i ett subshell.

• printf "..." > "file.txt" – skriver till en fil (tömmer filen en gång och lägger sedan till data under samma körning).
• printf "..." >> "file.txt" – lägger till data i en fil.
• printf "..." | "sort -rn" – skickar data till ett skalkommando via en pipe; awk håller pipen öppen mellan posterna och stänger den när programmet avslutas.

Ett vanligt mönster är att dela upp en enda genomgång av en logg i flera utdatafiler, en per status eller värd, så att man slipper läsa igenom en stor fil flera gånger.

Alla rapporter är inte avsedda för människor. Ibland måste utdata vara maskinläsbar CSV som kan matas in i ett kalkylark eller en efterföljande pipeline. aw:s printf hanterar detta smidigt: ange OFS till ett kommatecken eller styr varje avgränsare uttryckligen.

Två viktiga regler för robust CSV från awk:

• Omslut fält som kan innehålla kommatecken eller radbrytningar med dubbla citattecken.
• Escape:a alla bokstavliga dubbla citattecken i ett fält genom att dubblera dem: He said ""hello"".

Funktionen csv_field(s) nedan kapslar in denna citeringslogik, så att den kan användas konsekvent för varje strängfält.

Det här slutliga exemplet knyter ihop allt: användardefinierade funktioner, formatering med printf, insamling i matriser samt en strukturerad sidhuvud- och sidfotsdel. Indata är en förenklad åtkomstlogg från webben; utdata är en lättläst sammanfattningstabell med totalsummor per metod och en rad med totalsumman.

Viktiga tekniker:

• count[method]++ och bytes[method] += size samlar statistik per metod i en enda genomgång.
• human_bytes() (från en tidigare scen) omvandlar byte-totaler.
• printf med matchande bredder i sidhuvud, data och sidfot ser till att tabellen förblir justerad oavsett indatans storlek.
• Blocket END itererar över matrisen med for (k in arr) och skriver ut sorterade resultat via en pipe till sort.

I den här lektionen har Ni lärt Er att skriva awk-program med produktionskvalitet som genererar formaterade rapporter från rådataströmmar. Detta bör Ni ta med Er:

• Användardefinierade funktioner deklareras med function name(params, locals). Extra blanksteg före parametrarna för lokala variabler är POSIX-konventionen – det finns inget nyckelord local.
• printf ger exakt kontroll över utdata: bredd (%10s), justering (%-10s) och precision (%8.2f). Kom ihåg att lägga till \n uttryckligen.
• Använd BEGIN för att skriva ut sidhuvuden och avgränsare, regler per post för att samla data och END för att beräkna totalsummor och skriva ut den färdiga rapporten.
• Omdirigera utdata från printf till filer (> file) eller pipelines (| "sort") inifrån awk för att dela upp rapporter eller efterbehandla utdata.
• Omslut strängfält med en hjälpfunktion csv_field() när Ni skriver CSV, så att inbäddade kommatecken och citattecken hanteras säkert.
• Funktioner som omvandlar enheter (human_bytes), upprepar tecken (repeat) eller rensar strängar (trim, csv_field) är värda att spara i ett personligt awk-bibliotek – de kan enkelt kombineras mellan projekt.