awk-funktiot, printf-muotoilu ja raporttien tuottaminen

Kun awk-ohjelmasi kasvavat yhden rivin komennoista usean vaiheen putkiksi, kaksi ominaisuutta muuttuu välttämättömäksi: käyttäjän määrittämät funktiot ja printf-muotoilu.

Funktioiden avulla voit kapseloida uudelleenkäytettävän logiikan – kuten prosenttilaskurin, merkkijonon trimmaajan tai yksikkömuuntimen – ja kirjoittaa sen kerran, minkä jälkeen voit kutsua sitä missä tahansa saman ohjelman kohdassa. printf-komennolla voit hallita täsmällisesti tulosteen ulkoasua: sarakkeiden leveyksiä, desimaaleja, täytemerkkejä ja tasausta.

Yhdessä ne muuttavat raakatiedot sisältävät lokirivit viimeistellyiksi ja helppolukuisiksi raporteiksi, joiden perusteella insinöörit ja esihenkilöt voivat toimia.

• Funktiot vähentävät toistoa ja helpottavat ohjelmien testaamista erillään.
• printf tasaa tiedot vakiomittaisiin sarakkeisiin, joten raportit säilyvät luettavina myös syötteen pituuksien vaihdellessa.
• Molemmat ominaisuudet toimivat ympäristöissä POSIX awk, gawk ja mawk – laajennuksia ei tarvita.

Käyttäjän määrittämä funktio ilmoitetaan avainsanalla function ennen kuvio-toiminto-sääntöjä tai niiden jälkeen. Syntaksi on seuraava:

function name(param1, param2,    local1, local2) {
    # body
    return value
}

Keskeinen awk-idiomi: paikalliset muuttujat ovat yksinkertaisesti ylimääräisiä parametreja, joiden edellä on ylimääräisiä välilyöntejä. local-avainsanaa ei ole – ylimääräisten välilyöntien käytäntö ilmaisee, että kyseiset parametrit ovat paikallisia eivätkä kutsuvan koodin välittämiä argumentteja.

• Kaikki muuttujat, joita ei ilmoiteta parametreiksi, ovat oletusarvoisesti globaaleja.
• Funktiot voivat kutsua itseään rekursiivisesti.
• return on valinnainen; ilman sitä funktio palauttaa tyhjän merkkijonon.

Funktiot ovat erityisen hyödyllisiä toistuvissa merkkijono-operaatioissa. Ajatellaan alku- ja loppupään tyhjeiden poistamista – raakalokidatassa sitä tarvitaan usein ennen vertailua tai raportointia.

Alla oleva esimerkki määrittää funktion trim(s) käyttäen gsub-funktiota ja käyttää sitä jokaisessa tietueessa, jolloin pääsääntö pysyy siistinä ja helppolukuisena.

• gsub(regex, replacement, target) muokkaa target-arvoa paikallaan ja palauttaa korvausten määrän.
• Sijoittamalla säännöllisen lausekkeen logiikan funktion sisään sääntölohko voi keskittyä liiketoimintalogiikkaan.
• Voit tehdä yksikkötestejä välittämällä itse laadittuja merkkijonoja suoraan BEGIN-lohkossa.

awk:n printf noudattaa samoja käytäntöjä kuin C ja Bashin sisäinen printf. Keskeinen ero print-komentoon on, että printf ei koskaan lisää rivinvaihtoa automaattisesti – sinun on lisättävä \n itse.

Yleisiä muotoilumääritteitä:

• %s – merkkijono
• %d – kokonaisluku
• %f – liukuluku
• %e – tieteellinen merkintätapa
• %g – lyhyempi vaihtoehdoista %f/%e

Leveyttä ja tarkkuutta säädetään sijoittamalla numerot merkin % ja määritteen väliin: %-20s tasaa merkkijonon vasemmalle 20 merkin kentässä; %8.2f tuottaa 8 merkin levyisen liukuluvun kahdella desimaalilla.

Viimeistelty raportti tarvitsee otsikkorivin ja erotinviivan. BEGIN-lohko on luonteva paikka niiden tulostamiseen – se suoritetaan kerran ennen minkään syötteen käsittelyä.

Temppu on sovittaa leveydet otsikossa täsmälleen tietoriveillä käytettyihin leveyksiin. Leveysvakioiden määrittäminen BEGIN-lohkossa (tai funktiossa) pitää kaiken synkronoituna, kun muutat sarakkeiden leveyksiä myöhemmin.

• Piirrä erotinviiva käyttämällä printf-komentoa ja viivoista koostuvaa erotinmerkkijonoa.
• Päätä otsikkorivit aina merkkeihin \n.
• Yhdistä täydelliseksi raporttirakenteeksi BEGIN-otsikko, tietuekohtaiset rivit ja END-alatunniste.

Kun rakennat usean sarakkeen raportteja, samaa muotoilukutsua tarvitaan usein useassa paikassa – esimerkiksi prosenttipalkin piirtämiseen tai tavujen muuntamiseen ihmiselle helppolukuiseksi yksiköksi. Kun sijoitat tämän funktion sisään, vältät toiston ja voit muuttaa muotoilua helposti kaikkialla.

Alla oleva funktio muuntaa tavut kilotavuiksi, megatavuiksi tai gigatavuiksi ja palauttaa muotoillun merkkijonon. Kutsuva sääntö välittää funktiolle yksinkertaisesti $NF-arvon (viimeisen kentän) ja tulostaa palautuvan arvon.

Oikeissa raporteissa tarvitaan usein summia, keskiarvoja tai järjestyksiä — arvoja, joita ei voi laskea ennen kuin kaikki syöte on nähty. Toimintamalli on seuraava:

• Kerätkää tiedot assosiatiivisiin taulukoihin tietuekohtaisen käsittelyn aikana.
• Laskekaa johdetut arvot (keskiarvot, prosenttiosuudet) END-lohkossa.
• Tulostakaa muotoiltu tulos vain END-lohkosta, jotta sarakeleveydet voivat mukautua koko aineistoon.

Tämä viivästetyn tulostuksen toimintamalli on yksi awk-raporttien tehokkaimmista idiomeista. Alla oleva esimerkki laskee pyyntöjen määrät ja vastaus tavujen määrät HTTP-tilakoodien mukaan access-lokista.

awk tukee rekursiota. Tyypillisiä käyttötapauksia ovat kertomien laskeminen ja toistuvien merkkijonojen muodostaminen (esimerkiksi päätteen leveyden mukaisen viivajonon luominen). Rekursio on awk-kielessä harvinaisempaa kuin yleiskäyttöisissä ohjelmointikielissä, mutta se toimii oikein ja on käytettävissä kaikissa tärkeimmissä toteutuksissa.

Alla oleva esimerkki määrittelee rekursiivisen repeat(s, n)-funktion ja käyttää sitä erotinviivojen piirtämiseen niin, että viivat vastaavat automaattisesti leveimmän tietorivin leveyttä — kiinteästi määritettyjä viivoja ei tarvita.

• Välttäkää syvää rekursiota suurilla syötteillä — awk-kielessä ei ole häntärekursion optimointia.
• Yksinkertaiseen toistoon sprintf("%*s", n, "") yhdessä gsub(/ /, "-")-funktion kanssa on nopeampi mutta havainnollisuudeltaan heikompi vaihtoehto.

awkin printf (ja print) voi uudelleenohjata tulosteen tiedostoihin tai välittää sen putkella shell-komentoihin — suoraan awk-ohjelman sisältä ilman, että koko ohjelmaa tarvitsee sijoittaa alikuoreen.

• printf "..." > "file.txt" — kirjoittaa tiedostoon (tyhjentää tiedoston kerran ja lisää sen jälkeen samaan tiedostoon suorituksen aikana).
• printf "..." >> "file.txt" — lisää tulosteen tiedoston loppuun.
• printf "..." | "sort -rn" — välittää tulosteen putkella shell-komennolle; awk pitää putken avoinna tietueiden käsittelyn ajan ja sulkee sen ohjelman lopussa.

Yleinen toimintamalli on jakaa lokin yksi läpikäynti useiksi tilan tai isännän mukaan määräytyviksi tulostetiedostoiksi, jolloin suurta tiedostoa ei tarvitse lukea toistuvasti.

Kaikkia raportteja ei ole tarkoitettu ihmisille. Joskus tulosteen on oltava koneellisesti luettavaa CSV-muotoa, joka syötetään taulukkolaskentaohjelmaan tai seuraavaan käsittelyputkeen. awkin printf sopii tähän hyvin: asettakaa OFS-pilkuksi tai määrittäkää jokainen erotinmerkki erikseen.

Awk-kielellä tuotettavan toimivan CSV-tulosteen kaksi tärkeää sääntöä:

• Ympäröikää pilkkuja tai rivinvaihtoja mahdollisesti sisältävät kentät lainausmerkeillä.
• Escapettakaa kentän sisältämät kirjaimelliset lainausmerkit kaksinkertaistamalla ne: He said ""hello"".

Alla oleva csv_field(s)-funktio kapseloi tämän lainausmerkkilogiikan, joten sitä voidaan käyttää yhdenmukaisesti kaikissa merkkijonokentissä.

Tämä viimeinen esimerkki kokoaa kaiken yhteen: käyttäjän määrittämät funktiot, printf-muotoilun, tietojen keräämisen taulukoihin sekä rakenteisen ylä- ja alatunnisteen. Syöte on yksinkertaistettu web-käyttöloki; tuloste on ihmisille tarkoitettu yhteenvetotaulukko, jossa on menetelmäkohtaiset summat ja loppusumman sisältävä rivi.

Keskeiset käytetyt tekniikat:

• count[method]++ ja bytes[method] += size keräävät menetelmäkohtaiset tilastot yhdellä läpikäynnillä.
• human_bytes() (aiemmasta osiosta) muuntaa tavumäärät luettavaan muotoon.
• Ylä-, data- ja alatunnisteessa samanlaisina käytetyt leveydet printf-muotoilussa pitävät taulukon kohdistettuna syötteen koosta riippumatta.
• END-lohko käy taulukon läpi komennolla for (k in arr) ja tulostaa järjestetyn tuloksen putkea pitkin komennolle sort.

Tässä oppitunnissa opitte kirjoittamaan tuotantolaatuisia awk-ohjelmia, jotka luovat muotoiltuja raportteja raakadatan virroista. Tässä tärkeimmät asiat, jotka kannattaa pitää mielessä:

• Käyttäjän määrittämät funktiot ilmoitetaan muodossa function name(params, locals). Paikallisia muuttujia edeltävät ylimääräiset välilyönnit ovat POSIX-käytäntö — local-avainsanaa ei ole.
• printf tarjoaa tarkan tulosteen hallinnan: leveyden (%10s), kohdistuksen (%-10s) ja tarkkuuden (%8.2f). Muistakaa lisätä \n erikseen.
• Käyttäkää BEGIN-lohkoa ylä- ja erotinrivien tulostamiseen, tietuekohtaisia sääntöjä tietojen keräämiseen ja END-lohkoa summien laskemiseen sekä valmiin raportin tulostamiseen.
• Uudelleenohjatkaa printf-tuloste tiedostoihin (> file) tai putkiin (| "sort") awkin sisältä raporttien jakamiseksi tai tulosteen jatkokäsittelyä varten.
• Ympäröikää merkkijonokentät csv_field()-apufunktiolla CSV-tulosteen luonnin yhteydessä, jotta kenttien sisältämät pilkut ja lainausmerkit käsitellään turvallisesti.
• Yksiköitä muuntavat (human_bytes), merkkejä toistavat (repeat) tai merkkijonoja puhdistavat (trim, csv_field) funktiot kannattaa säilyttää omassa awk-kirjastossa — niitä voi yhdistellä sujuvasti eri projekteissa.