Fonctions awk, mise en forme avec printf et génération de rapports

À mesure que vos programmes awk passent de commandes d’une ligne à des chaînes de traitement en plusieurs étapes, deux fonctionnalités deviennent essentielles : les fonctions définies par l’utilisateur et la mise en forme avec printf.

Les fonctions vous permettent d’encapsuler une logique réutilisable — calculer un pourcentage, supprimer les espaces superflus d’une chaîne, convertir une unité — afin de l’écrire une seule fois et de l’appeler n’importe où dans le même programme. printf vous permet de contrôler exactement l’apparence de la sortie : largeur des colonnes, nombre de décimales, remplissage et alignement.

Ensemble, ces fonctionnalités transforment des lignes de journaux brutes en rapports soignés et lisibles sur lesquels les ingénieurs et les responsables peuvent agir.

• Les fonctions réduisent la duplication et rendent les programmes testables séparément.
• printf aligne les données dans des colonnes de largeur fixe afin que les rapports restent lisibles même lorsque la longueur des entrées varie.
• Ces deux fonctionnalités fonctionnent avec POSIX awk, gawk et mawk — aucune extension n’est nécessaire.

Une fonction utilisateur se déclare avec le mot-clé function, avant ou après les règles de motif-action. La syntaxe est la suivante :

function name(param1, param2,    local1, local2) {
    # body
    return value
}

Un idiome important d’awk : les variables locales sont simplement des paramètres supplémentaires précédés de davantage d’espaces. Il n’existe pas de mot-clé local — la convention des espaces supplémentaires indique que ces paramètres sont locaux et non des arguments transmis par l’appelant.

• Toutes les variables qui ne sont pas déclarées comme paramètres sont globales par défaut.
• Les fonctions peuvent s’appeler elles-mêmes de manière récursive.
• return est facultatif ; sans lui, la fonction renvoie une chaîne vide.

Les fonctions sont particulièrement utiles pour les opérations répétées sur les chaînes. Prenons la suppression des espaces en début et en fin — une opération souvent nécessaire sur les données brutes de journaux avant une comparaison ou un rapport.

L’exemple ci-dessous définit trim(s) avec gsub et l’utilise pour chaque enregistrement, ce qui garde la règle principale claire et lisible.

• gsub(regex, replacement, target) modifie target directement et renvoie le nombre de substitutions.
• Placer la logique d’expression régulière dans une fonction permet au bloc de règle de rester centré sur la logique métier.
• Vous pouvez effectuer un test unitaire en transmettant directement des chaînes conçues à la main dans un bloc BEGIN.

Dans awk, printf suit les mêmes conventions que le langage C et que le printf intégré de Bash. La différence principale avec print est que printf n’ajoute jamais automatiquement de saut de ligne — vous devez ajouter vous-même \n.

Spécificateurs de format courants :

• %s — chaîne
• %d — entier
• %f — nombre à virgule flottante
• %e — notation scientifique
• %g — le plus court entre %f et %e

La largeur et la précision sont contrôlées en plaçant des nombres entre % et le spécificateur : %-20s aligne à gauche dans un champ de 20 caractères ; %8.2f donne un nombre flottant sur 8 caractères avec 2 décimales.

Un rapport soigné nécessite une ligne d’en-tête et une ligne de séparation. Le bloc BEGIN est l’endroit naturel pour les produire : il s’exécute une fois avant le traitement de toute entrée.

L’astuce consiste à faire correspondre exactement les largeurs de l’en-tête à celles utilisées dans les lignes de données. Définir des constantes de largeur dans BEGIN (ou dans une fonction) permet de garder l’ensemble cohérent lorsque vous modifiez ensuite la largeur des colonnes.

• Utilisez printf avec une chaîne de tirets pour tracer la ligne de séparation.
• Terminez toujours les lignes d’en-tête par \n.
• Combinez un en-tête BEGIN, des lignes par enregistrement et un pied de page END pour obtenir une structure de rapport complète.

Lorsque vous créez des rapports à plusieurs colonnes, vous devez souvent effectuer le même appel de mise en forme à plusieurs endroits — par exemple pour afficher une barre de pourcentage ou convertir des octets en unité lisible. Placer cette logique dans une fonction évite la duplication et facilite la modification globale du format.

La fonction ci-dessous convertit les octets en KB, MB ou GB et renvoie une chaîne mise en forme. La règle appelante transmet simplement $NF (le dernier champ) et affiche la valeur renvoyée.

Les rapports réels nécessitent souvent des totaux, des moyennes ou des classements — des valeurs que vous ne pouvez calculer qu’après avoir parcouru toutes les données d’entrée. Le modèle est le suivant :

• Accumuler les données dans des tableaux associatifs pendant la phase de traitement de chaque enregistrement.
• Calculer les valeurs dérivées (moyennes, pourcentages) dans END.
• Produire la sortie mise en forme uniquement depuis END, afin que les largeurs puissent s’adapter à l’ensemble des données.

Ce modèle de sortie différée est l’un des idiomes les plus puissants pour générer des rapports avec awk. L’exemple ci-dessous comptabilise le nombre de requêtes et le nombre d’octets de réponse pour chaque code d’état HTTP à partir d’un journal d’accès.

awk prend en charge la récursivité. Elle est couramment utilisée pour calculer des factorielles ou générer des chaînes répétitives (par exemple une ligne de tirets dont la longueur correspond à la largeur du terminal). La récursivité est moins courante dans awk que dans les langages généralistes, mais elle fonctionne correctement et est disponible dans toutes les implémentations majeures.

L’exemple ci-dessous définit une fonction récursive repeat(s, n) et l’utilise pour tracer des lignes de séparation qui correspondent automatiquement à la largeur de la ligne de données la plus large — aucun tiret codé en dur n’est nécessaire.

• Évitez les récursions profondes avec des données d’entrée volumineuses — awk n’effectue pas d’optimisation des appels terminaux.
• Pour une simple répétition, sprintf("%*s", n, "") associé à gsub(/ /, "-") est plus rapide, mais moins pédagogique.

Le printf d’awk (ainsi que print) peut rediriger la sortie vers des fichiers ou l’envoyer dans des commandes de l’interpréteur — directement depuis le programme awk, sans encapsuler l’ensemble dans un sous-interpréteur.

• printf "..." > "file.txt" — écrit dans un fichier (le tronque une fois, puis ajoute les données pendant la même exécution).
• printf "..." >> "file.txt" — ajoute des données à un fichier.
• printf "..." | "sort -rn" — envoie les données dans une commande de l’interpréteur ; awk conserve le pipeline ouvert entre les enregistrements et le ferme à la fin du programme.

Un modèle courant consiste à diviser un seul parcours d’un journal en plusieurs fichiers de sortie, par état ou par hôte, afin d’éviter de parcourir plusieurs fois un fichier volumineux.

Tous les rapports ne sont pas destinés à être lus par des personnes. Parfois, la sortie doit être un CSV lisible par une machine, destiné à alimenter un tableur ou un pipeline en aval. Le printf d’awk gère cela simplement : définissez OFS avec une virgule ou contrôlez explicitement chaque séparateur.

Deux règles importantes pour produire un CSV robuste avec awk :

• Entourez de guillemets doubles les champs susceptibles de contenir des virgules ou des retours à la ligne.
• Échappez tout guillemet double littéral à l’intérieur d’un champ en le doublant : He said ""hello"".

La fonction csv_field(s) ci-dessous encapsule cette logique de mise entre guillemets afin qu’elle soit appliquée uniformément à chaque champ de type chaîne.

Cet exemple final rassemble tous les éléments : fonctions définies par l’utilisateur, mise en forme avec printf, accumulation dans des tableaux et en-tête/pied de page structurés. Les données d’entrée sont un journal d’accès Web simplifié ; la sortie est un tableau récapitulatif lisible par une personne, avec des totaux par méthode et une ligne de total général.

Techniques principales utilisées :

• count[method]++ et bytes[method] += size accumulent les statistiques par méthode en un seul parcours.
• human_bytes() (présente dans une scène précédente) convertit les totaux d’octets.
• L’utilisation de printf avec des largeurs correspondantes dans l’en-tête, les données et le pied de page garantit l’alignement du tableau, quelle que soit la taille des données d’entrée.
• Le bloc END parcourt le tableau avec for (k in arr) et produit une sortie triée via un pipeline vers sort.

Dans cette leçon, vous avez appris à écrire des programmes awk de qualité professionnelle qui génèrent des rapports mis en forme à partir de flux de données brutes. Voici les notions à retenir :

• Les fonctions définies par l’utilisateur sont déclarées avec function name(params, locals). Les espaces supplémentaires avant les paramètres des variables locales correspondent à la convention POSIX — il n’existe pas de mot-clé local.
• printf permet de contrôler précisément la sortie : largeur (%10s), alignement (%-10s) et précision (%8.2f). N’oubliez pas d’ajouter explicitement \n.
• Utilisez BEGIN pour produire les en-têtes et les séparateurs, les règles par enregistrement pour accumuler les données, et END pour calculer les totaux et afficher le rapport terminé.
• Redirigez la sortie de printf vers des fichiers (> file) ou des pipelines (| "sort") depuis awk pour diviser les rapports ou post-traiter la sortie.
• Entourez les champs de type chaîne avec une fonction auxiliaire csv_field() lors de la production d’un CSV, afin de gérer sans risque les virgules et les guillemets intégrés.
• Les fonctions qui convertissent les unités (human_bytes), répètent les caractères (repeat) ou assainissent les chaînes (trim, csv_field) méritent d’être conservées dans votre bibliothèque awk personnelle — elles se combinent facilement d’un projet à l’autre.