Агрегация и группировка с массивами awk

В awk ассоциативный массив — это хранилище пар «ключ—значение», где ключами могут быть любые строки или числа. В отличие от индексированных массивов в большинстве языков, массивы awk внутри реализованы как хеш-таблицы — это идеально подходит для группировки и агрегирования данных по значениям полей.

• Объявляются неявно: достаточно присвоить значение arr[key] = value
• По умолчанию ключи являются строками (числа преобразуются)
• Ограничения на размер нет — awk расширяет массив по мере необходимости
• Идеально подходят для вычисления сумм, количества и итогов группировки за один проход

Не нужно инициализировать ключ перед его увеличением — awk автоматически воспринимает неустановленный ключ как ноль или пустую строку.

Самый распространённый шаблон агрегации — подсчитать, сколько раз встречается каждое уникальное значение поля. Используйте поле $1 (или любое другое поле) как ключ массива и увеличивайте счётчик для каждой подходящей строки.

Блок END выполняется после обработки всех входных данных — именно там следует вывести накопленные результаты.

count[$1]++

После обработки в count хранится общее количество строк для каждого уникального значения $1.

Подсчёт — лишь один из видов агрегации. Чтобы просуммировать числовое поле с группировкой по другому полю, накапливайте числовое значение в массиве, ключом которого служит поле группы.

Шаблон таков:

• Ключ = поле, по которому выполняется группировка (например, $1 для имени пользователя)
• Значение = текущая сумма числового поля (например, $2 для количества байтов)

Так за один проход awk вычисляет полную сумму по группам — сортировка и предварительная обработка не требуются.

awk позволяет одновременно поддерживать несколько массивов, получая для каждой группы количество и сумму (а значит, и среднее значение) за один проход по файлу. Это гораздо эффективнее, чем дважды запускать конвейер.

• count[key]++ — отслеживает количество вхождений
• total[key] += $N — отслеживает текущую сумму
• В END разделите total[k] / count[k], чтобы получить среднее значение для группы

Можно создать составной ключ, объединив несколько полей с разделителем. Это даёт двумерную группировку без специального синтаксиса.

Выберите разделитель, который не может встретиться в данных (например, SUBSEP, встроенный разделитель записей awk \034 или буквальный символ вертикальной черты |).

• Составной ключ: arr[$1 SUBSEP $2] или arr[$1"|"$2]
• Разделить ключ обратно при выводе: split(key, parts, "|")

Ассоциативные массивы упрощают отслеживание минимальных и максимальных значений в каждой группе. Секрет в том, чтобы инициализировать значение только при первом появлении каждого ключа, используя специальное условие !(key in arr).

• !(key in min_arr) истинно при первом обнаружении ключа
• После инициализации сравнивайте значения и перезаписывайте их стандартной проверкой «меньше» / «больше»

Этот шаблон предотвращает появление ошибочного нуля, который исказил бы минимальное значение.

Распространённая практическая задача — найти N наиболее часто встречающихся значений. awk выполняет подсчёт, а sort и head используются в конвейере для ранжирования и отбора.

Такой шаблон конвейера характерен для разработки в оболочке:

1. awk подсчитывает вхождения в массиве и выводит в END пары count key
2. sort -rn сортирует числовые значения по убыванию
3. head -n 5 оставляет только первые 5 результатов

Если оставить агрегацию awk, а сортировку поручить sort, это соответствует философии Unix.

При обработке нескольких файлов встроенные в awk переменные NR (общее количество прочитанных записей) и FNR (количество записей в текущем файле) позволяют с помощью FILENAME определить, из какого файла получена каждая запись.

• FILENAME — имя текущего читаемого файла
• FNR == 1 — срабатывает в начале каждого нового файла (удобно для пропуска заголовков)

Это позволяет агрегировать данные по группам для каждого файла во всём каталоге журналов за один запуск awk.

Цикл for (key in array) в awk не гарантирует порядок. Для детерминированного вывода передайте печать из блока END в awk через конвейер команде sort либо соберите значения и отсортируйте их внутри awk с помощью функций asorti / asort (только GNU awk).

Переносимый подход с конвейером оболочки обычно предпочтителен в сценариях для разных платформ:

• sort -k1,1 — сортировка по первому полю (ключу группы) в алфавитном порядке
• sort -k2,2rn — сортировка по второму полю (количеству или сумме) по убыванию числового значения

Иногда требуется сбросить состояние агрегации в середине потока — например, при обработке файлов журналов, где каждый раздел отделён пустой строкой или специальным значением.

• delete arr[key] — удаляет одну запись
• delete arr — очищает весь массив (GNU awk)
• Перед обращением проверяйте существование с помощью (key in arr), чтобы не создавать призрачные записи

Этот приём позволяет выполнять агрегацию по скользящему окну или по разделам без перезапуска awk.

Объединим всё вместе: перед вами готовая для production агрегация в awk за один проход по журналу Nginx в комбинированном формате. Она вычисляет количество запросов, общее количество байтов и долю ошибок для каждого виртуального хоста за один проход.

Используемые основные приёмы:

• Составной ключ: vhost, извлечённый из поля
• Параллельные массивы: reqs[], bytes[], errors[]
• Условное накопление: $9 >= 400 для подсчёта только ответов с ошибками
• Таблица с форматированием через printf в END

Проверьте, насколько хорошо Вы понимаете распространённую ошибку при агрегации в awk.

Вы изучили основные шаблоны вычисления агрегаций по группам непосредственно в awk:

• Подсчёт: count[$key]++ — увеличивать значение для каждой строки, выводить в END
• Суммирование: total[$key] += $N — накапливать числовые поля для каждой группы
• Среднее значение: поддерживать оба массива — count[] и total[], а в END выполнить деление
• Минимум/максимум: задать начальное значение при первом появлении с помощью !(key in arr), затем сравнивать
• Составные ключи: объединять поля с разделителем для многомерной группировки
• Отсортированный вывод: передавать печать из блока END в awk через конвейер команде sort для детерминированного порядка
• Сброс разделов: использовать delete arr, чтобы очищать состояние между логическими разделами входных данных

Эти шаблоны позволяют заменить тяжёлые запросы к базам данных или несколько проходов конвейера одним эффективным запуском awk — это важный навык для разработки production-сценариев оболочки.