Enregistrements, champs et séparateurs personnalisés dans awk

awk lit l'entrée ligne par ligne. Chaque ligne est appelée un enregistrement, et chaque bloc séparé par des espaces dans cette ligne est appelé un champ.

• $0 — l'enregistrement actuel entier (la ligne complète)
• $1 — le premier champ
• $2 — le deuxième champ
• $NF — le dernier champ (NF = nombre de champs)

Par défaut, awk sépare les champs à chaque suite d'espaces (espaces ou tabulations). Cela le rend immédiatement utile pour l'analyse des journaux, la sortie de commandes et les données séparées par des espaces.

La variable intégrée FS (séparateur de champs) indique à awk comment diviser chaque enregistrement en champs. Sa valeur par défaut est une espace unique, ce qui active le mode de séparation sur les espaces.

Vous pouvez définir FS de deux façons :

• Avec l'option -F sur la ligne de commande : awk -F':'
• Dans un bloc BEGIN : BEGIN { FS = ":" }

Les deux méthodes sont équivalentes. L'approche avec le bloc BEGIN est préférable dans les scripts plus longs, car elle conserve la configuration dans le script lui-même, ce qui le rend plus lisible et portable.

Pour les scripts plus longs qu'une commande sur une seule ligne, placer FS dans un bloc BEGIN est la pratique standard. Le bloc BEGIN s'exécute avant qu'awk ne lise la moindre donnée d'entrée ; le séparateur est donc prêt pour le premier enregistrement.

Ce modèle permet également de définir plusieurs variables à la fois, d'ajouter des commentaires et de conserver votre logique dans un fichier de script autonome.

Voici des séparateurs courants que vous rencontrerez :

• Deux-points : — /etc/passwd, /etc/shadow
• Tabulation \t — exports TSV, sortie de compilateurs
• Virgule , — fichiers CSV (simples, sans champs entre guillemets)
• Barre verticale | — certains formats de journaux, vidages de bases de données

Le format CSV (valeurs séparées par des virgules) est l'un des formats de données les plus courants dans l'ingénierie shell. Définir FS="," permet à awk de traiter les virgules comme des délimiteurs.

Point important : la gestion CSV intégrée d'awk ne prend pas en compte les champs entre guillemets qui contiennent des virgules (par exemple, "Smith, John"). Pour les fichiers CSV simples sans virgules entre guillemets, cela fonctionne parfaitement. Pour les fichiers CSV conformes à la norme RFC 4180 et contenant des champs entre guillemets, utilisez un analyseur CSV adapté ou miller/csvkit.

Une tâche courante consiste à extraire des colonnes précises et à filtrer les lignes selon leur valeur : avec awk, ces deux opérations sont triviales une fois que FS est défini.

Le FS d'awk ne se limite pas à un seul caractère : il peut contenir une expression régulière. Cela est particulièrement puissant pour les formats de journaux réels, où les champs sont séparés par des délimiteurs de longueur variable.

Exemples de séparateurs par expression régulière :

• FS = "[,;]" — séparer sur une virgule ou un point-virgule
• FS = "[ \t]+" — séparer sur un ou plusieurs espaces ou tabulations (comme par défaut, mais explicitement)
• FS = "::" — séparer sur un double deux-points littéral
• FS = "\\|" — séparer sur une barre verticale (qui doit être échappée)

Lorsque FS est une expression régulière, awk (gawk) la traite comme un motif et non comme une chaîne littérale.

OFS (séparateur de champs de sortie) contrôle ce qu'awk place entre les champs lorsque vous reconstruisez un enregistrement avec print. Sa valeur par défaut est une espace unique.

L'idée essentielle est la suivante : OFS n'est inséré entre les champs que lorsque vous utilisez la syntaxe avec virgules dans print, ou lorsque vous affectez une valeur à un champ et qu'awk reconstruit $0. Si vous concaténez avec des espaces dans le code source, OFS n'est pas utilisé.

• print $1, $2, $3 — les virgules déclenchent l'insertion de OFS entre les champs
• print $1 " " $2 — espace explicite, OFS ignoré

Modèle courant : lire un fichier CSV, le transformer, puis écrire un fichier TSV en définissant FS="," et OFS="\t".

Il existe une astuce subtile mais importante : affecter une valeur à n'importe quel champ (même lui affecter sa propre valeur, $1=$1) force awk à reconstruire $0 en joignant tous les champs avec OFS.

C'est la manière idiomatique de reformater les délimiteurs d'un enregistrement sans afficher manuellement chaque champ :

• Définissez FS sur le délimiteur d'entrée
• Définissez OFS sur le délimiteur de sortie souhaité
• Déclenchez la reconstruction avec $1=$1
• Affichez $0

Cette approche s'adapte à n'importe quel nombre de champs et évite de coder en dur $1, $2, $3, ....

Tout comme FS sépare les champs au sein d’un enregistrement, RS (séparateur d’enregistrements) définit ce qui sépare les enregistrements les uns des autres. Par défaut, RS est un newline, donc awk traite une ligne à la fois.

Modifier RS permet un traitement puissant des enregistrements répartis sur plusieurs lignes :

• RS="" — mode paragraphe : les lignes vides séparent les enregistrements (les champs peuvent s’étendre sur plusieurs lignes)
• RS=";" — séparation sur les points-virgules (utile pour les exportations SQL)
• RS="\n" — newline explicite (valeur par défaut)

En mode paragraphe (RS=""), FS sert toujours à séparer les champs au sein de l’enregistrement réparti sur plusieurs lignes, et les sauts de ligne présents dans un enregistrement sont également automatiquement traités comme des séparateurs de champs.

ORS (séparateur d’enregistrements de sortie) est affiché après chaque instruction print. Par défaut, il s’agit d’un newline (\n), ce qui explique pourquoi chaque print passe à la ligne.

Modifier ORS vous permet de :

• Joindre les enregistrements sur une seule ligne : ORS=" "
• Ajouter des lignes vides entre les enregistrements de sortie : ORS="\n\n"
• Créer des formats de sortie personnalisés, comme des fragments JSON ou XML

Notez que printf n’utilise pas ORS : celui-ci s’applique uniquement à l’instruction print seule. Utilisez printf lorsque vous avez besoin d’un contrôle total sur le formatage.

Les journaux d’accès Apache/nginx suivent un format bien connu, avec des champs séparés par des espaces. Certains champs (comme l’horodatage) contiennent des espaces et sont encadrés par des crochets ou des guillemets, ce qui rend la séparation directe des champs avec awk délicate.

Une approche pratique consiste à utiliser un FS correspondant à la structure, ou à extraire des champs précis par leur position en connaissant le format exact.

Les champs du format de journal combiné sont approximativement les suivants :

1. IP du client
2. Identifiant (généralement -)
3. Utilisateur authentifié (généralement -)
4. Horodatage (entre crochets, il compte comme un seul jeton)
5. Méthode+chemin+protocole de la requête (entre guillemets)
6. Code d’état HTTP
7. Octets de la réponse

Dans la pratique de l’ingénierie shell, vous utilisez rarement ces séparateurs isolément. Un schéma courant consiste à utiliser awk comme convertisseur de format au milieu d’un pipeline, afin de transformer un format structuré en un autre.

Points essentiels pour combiner les séparateurs :

• Définissez toujours FS et OFS ensemble dans BEGIN lors de la conversion de formats
• Utilisez $1=$1 pour déclencher la reconstruction de $0 lorsque vous souhaitez reformater tous les champs sans les énumérer
• Ne modifiez RS que lorsque vos enregistrements s’étendent réellement sur plusieurs lignes
• Utilisez ORS pour contrôler l’espacement entre les enregistrements de sortie
• Préférez printf pour un formatage précis ; utilisez print lorsque la terminaison automatique par ORS est pratique

Vérifiez votre compréhension de l’interaction entre OFS et l’affectation de champs dans awk.

Vous contrôlez désormais entièrement la manière dont awk lit et écrit les données structurées. Voici un résumé des quatre variables de séparation :

• FS — séparateur de champs d’entrée. À définir avec -F ou dans BEGIN. Il peut s’agir d’un caractère, d’une chaîne ou d’une expression régulière. Valeur par défaut : espaces blancs.
• OFS — séparateur de champs de sortie. Inséré entre les champs dans les appels print $1, $2 et lorsque awk reconstruit $0 après l’affectation d’un champ. Valeur par défaut : une seule espace.
• RS — séparateur d’enregistrements d’entrée. Définit ce qui sépare les enregistrements (lignes). Valeur par défaut : newline. Définissez-le comme une chaîne vide pour le mode paragraphe.
• ORS — séparateur d’enregistrements de sortie. Ajouté après chaque print. Valeur par défaut : newline. Modifiez-le pour joindre les lignes ou ajouter des espaces.

Le schéma le plus important à retenir est le suivant : définissez FS et OFS dans BEGIN, puis utilisez $1=$1 pour reconstruire $0 chaque fois que vous souhaitez reformater les délimiteurs de tous les champs sans coder en dur leurs positions. Ce schéma fonctionne avec des fichiers comportant n’importe quel nombre de colonnes et constitue la base des pipelines de conversion de formats fondés sur awk.