Record, campi e separatori personalizzati in awk

awk legge l'input riga per riga. Ogni riga è chiamata record e ogni segmento separato da spazi bianchi all'interno della riga è chiamato campo.

• $0: l'intero record corrente (la riga completa)
• $1: il primo campo
• $2: il secondo campo
• $NF: l'ultimo campo (NF = numero di campi)

Per impostazione predefinita, awk divide i campi in corrispondenza di qualsiasi sequenza di spazi bianchi (spazi o tabulazioni). Per questo è subito utile per analizzare log, output di comandi e dati delimitati da spazi.

La variabile incorporata FS (Field Separator, separatore dei campi) indica ad awk come dividere ogni record in campi. Il valore predefinito è un singolo spazio, che attiva la modalità di suddivisione sugli spazi bianchi.

È possibile impostare FS in due modi:

• Con l'opzione -F dalla riga di comando: awk -F':'
• All'interno di un blocco BEGIN: BEGIN { FS = ":" }

I due metodi sono equivalenti. L'approccio con il blocco BEGIN è preferibile negli script più lunghi, perché mantiene la configurazione all'interno dello script, rendendolo più leggibile e portabile.

Per gli script più lunghi di una singola riga, inserire FS in un blocco BEGIN è la pratica standard. Il blocco BEGIN viene eseguito prima che awk legga qualsiasi input, quindi il separatore è pronto per il primo record.

Questo schema consente anche di impostare più variabili contemporaneamente, aggiungere commenti e mantenere la logica autonoma in un file di script.

Separatori comuni che si incontrano frequentemente:

• Due punti :: /etc/passwd, /etc/shadow
• Tabulazione \t: esportazioni TSV, output dei compilatori
• Virgola ,: file CSV (semplici, senza campi tra virgolette)
• Pipe |: alcuni formati di log, dump di database

CSV (valori separati da virgole) è uno dei formati di dati più comuni nell'ingegneria della shell. Impostando FS="," si indica ad awk di usare le virgole come delimitatori.

Importante: la gestione CSV incorporata in awk non tiene conto dei campi tra virgolette che contengono virgole (ad esempio "Smith, John"). Per i CSV semplici, senza virgole tra virgolette, funziona perfettamente. Per i CSV conformi a RFC 4180 con campi tra virgolette, usi un parser CSV apposito oppure miller/csvkit.

Un'attività comune nel mondo reale consiste nell'estrarre colonne specifiche e filtrare le righe in base al valore: entrambe le operazioni sono banali con awk una volta impostato FS.

Il valore di FS di awk non è limitato a un singolo carattere: può essere un'espressione regolare. Questo è utile nei formati di log reali, in cui i campi sono separati da delimitatori di lunghezza variabile.

Esempi di separatori basati su espressioni regolari:

• FS = "[,;]": divide in corrispondenza di una virgola o di un punto e virgola
• FS = "[ \t]+": divide in corrispondenza di uno o più spazi/tabulazioni (come l'impostazione predefinita, ma in modo esplicito)
• FS = "::": divide in corrispondenza di una doppia virgola letterale
• FS = "\\|": divide in corrispondenza del carattere pipe (che deve essere sottoposto a escape)

Quando FS è un'espressione regolare, awk (gawk) la tratta come un pattern, non come una stringa letterale.

OFS (Output Field Separator, separatore dei campi di output) controlla ciò che awk inserisce tra i campi quando si ricostruisce un record con print. Il valore predefinito è un singolo spazio.

Il punto fondamentale è che OFS viene inserito solo tra i campi quando si usa la sintassi con la virgola in print oppure quando si assegna un valore a un campo e awk ricostruisce $0. Se si concatenano gli elementi con spazi nel codice sorgente, OFS non viene usato.

• print $1, $2, $3: le virgole attivano OFS tra i campi
• print $1 " " $2: spazio esplicito, OFS ignorato

Uno schema comune consiste nel leggere un CSV, trasformarlo e scrivere un TSV impostando FS="," e OFS="\t".

Esiste un accorgimento sottile ma importante: assegnare un valore a qualsiasi campo (anche assegnare un campo a sé stesso, $1=$1) forza awk a ricostruire $0 unendo tutti i campi con OFS.

Questo è il modo idiomatico per riformattare i delimitatori di un record senza stampare manualmente ogni campo:

• Impostare FS sul delimitatore di input
• Impostare OFS sul delimitatore di output desiderato
• Forzare la ricostruzione con $1=$1
• Stampare $0

Questo approccio funziona con un numero qualsiasi di campi ed evita di scrivere esplicitamente $1, $2, $3, ....

Così come FS suddivide i campi all’interno di un record, RS (Record Separator) definisce ciò che separa i record tra loro. Per impostazione predefinita, RS è un carattere di nuova riga, quindi awk elabora una riga alla volta.

Modificando RS è possibile eseguire una potente elaborazione di record su più righe:

• RS="" — modalità paragrafo: le righe vuote separano i record (i campi possono estendersi su più righe)
• RS=";" — suddivisione in corrispondenza dei punti e virgola (utile per i dump SQL)
• RS="\n" — nuova riga esplicita (impostazione predefinita)

In modalità paragrafo (RS=""), FS continua a essere usato per suddividere i campi all’interno del record su più righe; inoltre, le nuove righe all’interno di un record vengono automaticamente trattate come separatori di campo.

ORS (Output Record Separator) viene stampato dopo ogni istruzione print. Per impostazione predefinita è una nuova riga (\n), motivo per cui ogni print viene visualizzato su una nuova riga.

Modificando ORS è possibile:

• Unire i record su una sola riga: ORS=" "
• Aggiungere righe vuote tra i record di output: ORS="\n\n"
• Creare formati di output personalizzati, come frammenti JSON o XML

Noti che printf non usa ORS: si applica solo all’istruzione print semplice. Usi printf quando ha bisogno di un controllo completo sulla formattazione.

I log di accesso di Apache/nginx hanno un formato noto con campi delimitati da spazi. Alcuni campi, come il timestamp, contengono spazi e sono racchiusi tra parentesi quadre o virgolette, rendendo complicata la suddivisione diretta in campi con awk.

Un approccio pratico consiste nell’usare un FS basato su un’espressione regolare che tenga conto della struttura, oppure nell’estrarre campi specifici in base alla posizione, conoscendo il formato esatto.

I campi del Combined Log Format sono, in linea di massima:

1. Indirizzo IP del client
2. Ident (solitamente -)
3. Utente autenticato (solitamente -)
4. Timestamp (tra parentesi quadre, conta come un unico token)
5. Metodo+percorso+protocollo della richiesta (tra virgolette)
6. Codice di stato HTTP
7. Byte della risposta

Nella pratica dell’ingegneria delle shell, raramente si usano questi separatori isolatamente. Un modello comune di pipeline consiste nell’usare awk come convertitore di formato al centro della pipeline, trasformando un formato strutturato in un altro.

Punti chiave per combinare i separatori:

• Impostare sempre insieme FS e OFS in BEGIN quando si convertono formati
• Usare $1=$1 per attivare la ricostruzione di $0 quando si desidera riformattare tutti i campi senza elencarli
• Modificare RS solo quando i record si estendono effettivamente su più righe
• Usare ORS per controllare la spaziatura tra i record di output
• Preferire printf per una formattazione precisa; usare print quando è utile la terminazione automatica tramite ORS

Verifichi la Sua comprensione del modo in cui OFS interagisce con l’assegnazione dei campi in awk.

Ora ha il pieno controllo sul modo in cui awk legge e scrive dati strutturati. Ecco un riepilogo delle quattro variabili separatore:

• FS — separatore dei campi di input. Si imposta con -F o in BEGIN. Può essere un carattere, una stringa o un’espressione regolare. Valore predefinito: spazio bianco.
• OFS — separatore dei campi di output. Viene inserito tra i campi nelle chiamate print $1, $2 e quando awk ricostruisce $0 dopo un’assegnazione a un campo. Valore predefinito: un singolo spazio.
• RS — separatore dei record di input. Definisce ciò che separa i record (le righe). Valore predefinito: nuova riga. Impostarlo su una stringa vuota attiva la modalità paragrafo.
• ORS — separatore dei record di output. Viene aggiunto dopo ogni print. Valore predefinito: nuova riga. Può essere modificato per unire le righe o aggiungere spaziatura.

Il modello più importante da ricordare è il seguente: impostare sia FS sia OFS in BEGIN, quindi usare $1=$1 per ricostruire $0 ogni volta che si desidera riformattare i delimitatori di tutti i campi senza codificare manualmente le posizioni. Questo modello funziona con file contenenti qualsiasi numero di colonne ed è alla base delle pipeline di conversione del formato basate su awk.