Pattern, intervalli e blocchi BEGIN/END

In awk, un pattern è una condizione che determina se un blocco di azioni deve essere eseguito per una determinata riga di input. La forma generale è:

awk 'pattern { action }' file

Se il pattern corrisponde al record corrente, l’azione viene eseguita. Se non viene specificata alcuna azione, awk stampa per impostazione predefinita l’intera riga. I pattern possono essere:

• Espressioni regolari — /regex/
• Espressioni relazionali — $3 > 100
• Espressioni composte — $1 == "ERROR" && $4 > 500
• Pattern di intervallo — /start/,/end/
• Pattern speciali — BEGIN e END

Comprendere i pattern è il punto di accesso all’uso di awk come potente filtro per i dati, anziché come semplice strumento per stampare colonne.

Il tipo di pattern più comune è un’espressione regolare racchiusa tra barre. awk verifica ogni riga rispetto all’espressione regolare ed esegue l’azione solo sulle corrispondenze.

Di seguito filtriamo un file in stile /var/log/syslog per mostrare solo le righe che contengono la parola ERROR:

Anteponendo ! a un pattern con espressione regolare lo si nega, selezionando le righe che non contengono il pattern. È possibile combinare più condizioni con && (AND) o || (OR) per un controllo più preciso.

• !/DEBUG/ — esclude le righe di debug
• $3 > 500 && $5 == "POST" — richieste POST di grandi dimensioni
• /WARN/ || /ERROR/ — uno dei due livelli di gravità

L’esempio seguente analizza un log di accesso semplificato e stampa solo le richieste POST con una dimensione della risposta superiore a 1000 byte:

Un pattern di intervallo seleziona un blocco contiguo di record: dalla riga che corrisponde a /start/ fino alla riga che corrisponde a /end/, estremi inclusi. La sintassi è:

awk '/start/,/end/ { action }' file

Comportamenti importanti da conoscere:

• L’intervallo si attiva sulla prima riga che corrisponde a /start/ e si disattiva dopo la prima riga successiva che corrisponde a /end/.
• Se /end/ non trova mai corrispondenze, l’intervallo rimane attivo fino alla fine del file.
• Più intervalli non sovrapposti nello stesso file vengono elaborati indipendentemente.

Questo rende i pattern di intervallo ideali per estrarre sezioni contrassegnate da file di configurazione, log con intestazioni delimitatrici o report composti da più blocchi.

Consideri una configurazione del server con più sezioni denominate, delimitate da intestazioni [section]. Vogliamo solo le righe contenute in [database]:

Il blocco BEGIN viene eseguito una sola volta, prima della lettura di qualsiasi input. È ideale per:

• Stampare l’intestazione di un report
• Inizializzare variabili e contatori
• Impostare il separatore dei campi (FS) o altre variabili predefinite
• Eseguire programmi awk autonomi che non richiedono input

Sintassi:

awk 'BEGIN { setup } pattern { action }' file

Impostare FS in BEGIN è l’alternativa più ordinata al flag -F, particolarmente utile quando si scrivono programmi con più regole e la logica del separatore risiede nello script.

Il blocco END viene eseguito una sola volta, dopo l’elaborazione dell’ultimo record. È il punto naturale in cui:

• Stampare totali, medie e riepiloghi accumulati durante l’elaborazione
• Svuotare il buffer o chiudere i file di output
• Stampare le righe finali dei report formattati

Le variabili impostate durante le regole principali rimangono nell’ambito di visibilità anche all’interno di END: è così che funzionano i totali progressivi. L’esempio seguente somma i valori degli stipendi da un CSV e stampa il totale nel piè di pagina:

La vera potenza emerge quando si combinano tutti e tre i blocchi in un unico programma awk autonomo che stampa un’intestazione, elabora ogni record e stampa un riepilogo. Questo modello è alla base delle pipeline di reportistica basate sulla shell.

Di seguito è riportato un generatore di report completo che legge un CSV di richieste web e stampa i dettagli di ogni riga, oltre al conteggio finale delle richieste che hanno superato 1 secondo:

Due variabili di output spesso trascurate possono essere impostate in modo ordinato in BEGIN:

• OFS (Output Field Separator) — viene inserito tra i campi quando si ricostruisce un record con $1=$1 o si usa print $1, $2
• ORS (Output Record Separator) — viene aggiunto dopo ogni chiamata a print (il valore predefinito è \n)

Impostando OFS="," è possibile riformattare un TSV in CSV in un solo passaggio, senza concatenare stringhe. Modificando ORS in "\n---\n" si aggiungono automaticamente separatori tra i record.

I pattern di intervallo sono particolarmente efficaci nell’analisi operativa dei log. Un’attività comune consiste nell’estrarre tutte le righe di log comprese tra l’inizio e la fine di un incidente, identificati da messaggi sentinella come INCIDENT START e INCIDENT END.

Nell’esempio seguente, awk estrae solo le righe all’interno dell’intervallo dell’incidente e conta gli eventi ERROR al suo interno, combinando un pattern di intervallo con un accumulatore e un riepilogo in END:

Per impostazione predefinita, i pattern di intervallo includono anche le righe che corrispondono a /start/ e /end/. Per ignorare queste righe delimitatrici e mantenere solo il contenuto intermedio, si può subordinare l’azione a una negazione o a una variabile di stato:

• Approccio con negazione: /start/,/end/ { if (!/start/ && !/end/) print }
• Approccio con flag: impostare manualmente una variabile a 1 in corrispondenza di /start/ e a 0 in corrispondenza di /end/

L’approccio con flag è più affidabile quando il testo delimitatore potrebbe comparire anche nel contenuto:

Verifichi la Sua comprensione del modo in cui i blocchi BEGIN e END interagiscono con l’elaborazione dell’input in awk.

In questa lezione ha acquisito padronanza delle tre funzionalità strutturali più potenti dei programmi awk:

• Pattern — regex (/ERROR/), relazionali ($3 > 1000), negati (!/DEBUG/) e composti (&&, ||) determinano quali record attivano un’azione senza la necessità di istruzioni if esplicite.
• Pattern di intervallo (/start/,/end/) — selezionano blocchi contigui di record, perfetti per estrarre intervalli di incidenti dai log, sezioni di configurazione e segmenti di report. Usi una variabile di stato (next + valore booleano) quando deve escludere le righe delimitatrici.
• Blocco BEGIN — viene eseguito una volta prima di qualsiasi input; è ideale per impostare FS, OFS e ORS, inizializzare i contatori e stampare le intestazioni dei report.
• Blocco END — viene eseguito una volta dopo tutto l’input; è il punto corretto in cui stampare totali, medie e piè di pagina usando le variabili accumulate nelle regole principali.

Insieme, queste funzionalità consentono di scrivere programmi awk completi e autoesplicativi, che acquisiscono testo grezzo e producono report strutturati e leggibili, tutto in una singola fase della pipeline, senza file temporanei o strumenti esterni.