Функции awk, форматирование printf и создание отчётов

По мере того как программы awk превращаются из однострочных команд в многоэтапные конвейеры, необходимыми становятся две возможности: определяемые пользователем функции и форматирование с помощью printf.

Функции позволяют инкапсулировать повторно используемую логику — вычисление процентов, удаление пробелов в строке, преобразование единиц — чтобы написать её один раз и вызывать в любом месте той же программы. printf позволяет точно управлять видом вывода: шириной столбцов, количеством знаков после запятой, заполнением и выравниванием.

Вместе они превращают необработанные строки журналов в аккуратные, понятные отчёты, на основании которых инженеры и руководители могут принимать решения.

• Функции уменьшают дублирование и позволяют тестировать программы изолированно.
• printf выравнивает данные по столбцам фиксированной ширины, поэтому отчёты остаются удобными для чтения даже при разной длине входных данных.
• Обе возможности работают в POSIX awk, gawk и mawk — расширения не требуются.

Пользовательская функция объявляется с помощью ключевого слова function до или после любых правил «шаблон—действие». Синтаксис таков:

function name(param1, param2,    local1, local2) {
    # body
    return value
}

Важный идиоматичный приём awk: локальные переменные задаются как дополнительные параметры, перед которыми ставится дополнительный пробел. Ключевого слова local нет — принято считать, что дополнительные пробелы обозначают локальные параметры, а не аргументы, передаваемые вызывающей стороной.

• Все переменные, не объявленные как параметры, по умолчанию являются глобальными.
• Функции могут вызывать сами себя рекурсивно.
• return необязателен; без него функция возвращает пустую строку.

Функции особенно полезны для повторяющихся операций со строками. Например, часто требуется удалить начальные и конечные пробелы — это нередко необходимо сделать с необработанными данными журналов перед сравнением или формированием отчёта.

В примере ниже определяется функция trim(s) с помощью gsub, а затем она используется для каждой записи, благодаря чему основное правило остаётся чистым и понятным.

• gsub(regex, replacement, target) изменяет target на месте и возвращает количество замен.
• Размещение логики регулярного выражения внутри функции позволяет сосредоточить блок правила на прикладной логике.
• Модульное тестирование можно выполнять, передавая специально подготовленные строки непосредственно в блок BEGIN.

printf в awk следует тем же соглашениям, что и в C и встроенной команде printf Bash. Главное отличие от print состоит в том, что printf никогда не добавляет перевод строки автоматически — необходимо самостоятельно добавить \n.

Распространённые спецификаторы формата:

• %s — строка
• %d — целое число
• %f — число с плавающей запятой
• %e — экспоненциальная запись
• %g — более короткая форма из %f и %e

Ширина и точность задаются числами между % и спецификатором: %-20s выравнивает строку по левому краю в поле шириной 20 символов; %8.2f задаёт число с плавающей запятой шириной 8 символов и двумя знаками после запятой.

Для аккуратного отчёта нужны строка заголовка и разделитель. Блок BEGIN — естественное место для их вывода: он выполняется один раз до обработки любых входных данных.

Секрет в том, чтобы точно сопоставить ширину столбцов в заголовке с шириной, используемой в строках данных. Определение констант ширины в BEGIN (или в функции) помогает сохранить согласованность при последующем изменении ширины столбцов.

• Используйте printf со строкой из дефисов, чтобы нарисовать разделительную линию.
• Всегда завершайте строки заголовка последовательностью \n.
• Объединяйте заголовок в BEGIN, строки для каждой записи и нижний колонтитул в END, создавая полноценную структуру отчёта.

При создании отчётов с несколькими столбцами часто требуется выполнять один и тот же вызов форматирования в разных местах — например, отображать индикатор процентов или преобразовывать байты в удобные для чтения единицы. Размещение этой логики внутри функции устраняет дублирование и позволяет легко изменить формат сразу во всей программе.

Функция ниже преобразует байты в KB, MB или GB и возвращает отформатированную строку. Вызывающее правило просто передаёт $NF (последнее поле) и выводит полученный результат.

В реальных отчётах часто нужны итоговые значения, средние показатели или рейтинги — их нельзя вычислить, пока Вы не получите весь входной поток. Шаблон выглядит так:

• На этапе обработки каждой записи накапливайте данные в ассоциативных массивах.
• Вычисляйте производные значения (средние показатели, проценты) в END.
• Форматируйте и выводите результат только из END, чтобы ширина столбцов могла подстроиться под весь набор данных.

Этот шаблон отложенного вывода — один из самых мощных приёмов создания отчётов в awk. В приведённом ниже примере подсчитываются количества запросов и объёмы ответов в байтах для каждого кода состояния HTTP из журнала доступа.

awk поддерживает рекурсию. Классический вариант применения — вычисление факториалов или генерация повторяющихся строк (например, строки из дефисов шириной с окно терминала). Рекурсия используется в awk реже, чем в языках общего назначения, но работает корректно и доступна во всех основных реализациях.

В приведённом ниже примере определяется рекурсивная функция repeat(s, n), с помощью которой рисуются разделительные строки, автоматически соответствующие ширине самой широкой строки данных — заранее задавать количество дефисов не требуется.

• Избегайте глубокой рекурсии при обработке больших объёмов входных данных — в awk нет оптимизации хвостовых вызовов.
• Для простого повторения строка sprintf("%*s", n, "") вместе с gsub(/ /, "-") работает быстрее, но наглядность при этом ниже.

printf (как и print) в awk может перенаправлять вывод в файлы или передавать его через конвейер командам оболочки — непосредственно из программы awk, без обёртывания всего вызова в подоболочку.

• printf "..." > "file.txt" — записывает данные в файл (один раз очищает его, а затем дописывает в рамках того же запуска).
• printf "..." >> "file.txt" — дописывает данные в файл.
• printf "..." | "sort -rn" — передаёт данные команде оболочки через конвейер; awk сохраняет конвейер открытым между записями и закрывает его по завершении программы.

Распространённый шаблон — за один проход по журналу разделить вывод на несколько файлов: отдельно для каждого состояния или узла, избежав повторного сканирования большого файла.

Не все отчёты предназначены для людей. Иногда вывод должен представлять собой машиночитаемый CSV, который передаётся электронной таблице или следующему этапу конвейера. printf в awk позволяет сделать это без лишних усилий: задайте OFS равным запятой или явно управляйте каждым разделителем.

Два важных правила для надёжного формирования CSV в awk:

• Заключайте в двойные кавычки поля, которые могут содержать запятые или переводы строк.
• Экранируйте любые двойные кавычки внутри поля, удваивая их: He said ""hello"".

Функция csv_field(s) ниже инкапсулирует эту логику заключения в кавычки, чтобы её можно было единообразно применять к каждому строковому полю.

В этом финальном примере объединены все изученные приёмы: пользовательские функции, форматирование с помощью printf, накопление данных в массивах и структурированные верхний и нижний колонтитулы. На вход подаётся упрощённый журнал веб-доступа, а на выходе получается удобная для чтения сводная таблица с итогами по каждому методу и строкой общего итога.

Основные использованные приёмы:

• count[method]++ и bytes[method] += size накапливают статистику по методам за один проход.
• human_bytes() (из предыдущей сцены) преобразует итоговые значения в байтах.
• printf с одинаковой шириной полей в верхнем колонтитуле, данных и нижнем колонтитуле сохраняет выравнивание таблицы независимо от размера входных данных.
• Блок END перебирает массив с помощью for (k in arr) и выводит отсортированные данные, передавая их через конвейер команде sort.

Какой из следующих вариантов правильно объявляет result как локальную переменную внутри функции awk в соответствии с соглашением POSIX?

В этом уроке Вы научились писать качественные программы на awk, которые создают форматированные отчёты из необработанных потоков данных. Вот основные выводы:

• Пользовательские функции объявляются с помощью function name(params, locals). Дополнительные пробелы перед параметрами локальных переменных — это соглашение POSIX; ключевого слова local не существует.
• printf обеспечивает точный контроль над выводом: шириной (%10s), выравниванием (%-10s) и точностью (%8.2f). Не забывайте явно добавлять \n.
• Используйте BEGIN для вывода заголовков и разделителей, правила для каждой записи — для накопления данных, а END — для вычисления итогов и вывода готового отчёта.
• Перенаправляйте вывод printf в файлы (> file) или конвейеры (| "sort") непосредственно из awk, чтобы разделять отчёты или выполнять их последующую обработку.
• При формировании CSV заключайте строковые поля в вспомогательную функцию csv_field(), чтобы безопасно обрабатывать встроенные запятые и кавычки.
• Функции, преобразующие единицы измерения (human_bytes), повторяющие символы (repeat) или очищающие строки (trim, csv_field), стоит хранить в личной библиотеке awk — их удобно комбинировать в разных проектах.