Agregación con arrays y agrupación en awk

En awk, un array asociativo es un almacén de pares clave-valor en el que las claves pueden ser cualquier cadena o número. A diferencia de los arrays indexados de la mayoría de los lenguajes, los arrays de awk son tablas hash internamente, lo que los hace perfectos para agrupar y agregar datos por valores de campo.

• Declaración implícita: basta con asignar arr[key] = value
• Las claves son cadenas de forma predeterminada (los números se convierten)
• No hay límite de tamaño: awk amplía el array según sea necesario
• Son ideales para calcular sumas, recuentos y totales agrupados en una sola pasada

No necesita inicializar una clave antes de incrementarla: awk trata automáticamente una clave no establecida como cero o como una cadena vacía.

El patrón de agregación más común consiste en contar cuántas veces aparece cada valor único de un campo. Use el campo $1 (o cualquier otro campo) como clave del array e incremente un contador en cada fila coincidente.

El bloque END se ejecuta después de consumir toda la entrada; ese es el lugar donde debe imprimir los resultados acumulados.

count[$1]++

Después del procesamiento, count contiene el número total de líneas de cada valor único de $1.

Contar es solo una forma de agregación. Para sumar un campo numérico agrupado por otro campo, acumule el valor numérico en un array cuya clave sea el campo de agrupación.

El patrón es:

• Clave = el campo por el que se agrupa (por ejemplo, $1 para el nombre de usuario)
• Valor = el total acumulado del campo numérico (por ejemplo, $2 para los bytes)

Esto calcula una suma completa por grupos en una sola pasada de awk, sin necesidad de ordenar ni preprocesar los datos.

awk permite mantener varios arrays simultáneamente, lo que le proporciona el recuento y la suma (y, por tanto, el promedio) de cada grupo en un solo recorrido del archivo. Esto es mucho más eficiente que ejecutar la canalización dos veces.

• count[key]++ — registra las apariciones
• total[key] += $N — registra la suma acumulada
• En END, divida total[k] / count[k] para obtener el promedio de cada grupo

Puede crear una clave compuesta concatenando varios campos con un separador. Esto permite agrupar en dos dimensiones sin ninguna sintaxis especial.

Elija un separador que no pueda aparecer en los datos (por ejemplo, SUBSEP, el separador de registros integrado de awk \034 o una barra vertical literal |).

• Clave compuesta: arr[$1 SUBSEP $2] o arr[$1"|"$2]
• Dividir la clave de nuevo al imprimir: split(key, parts, "|")

Los arrays asociativos facilitan el seguimiento de los valores mínimo y máximo por grupo. El truco consiste en inicializarlos solo la primera vez que aparece cada clave mediante la condición especial !(key in arr).

• !(key in min_arr) es verdadera la primera vez que se encuentra una clave
• Después de la inicialización, compare y sobrescriba con la comprobación estándar de menor que / mayor que

Este patrón evita un cero espurio que alteraría el valor mínimo.

Una tarea habitual en el mundo real es encontrar los N valores más frecuentes. awk se encarga del recuento; canalice la salida mediante sort y head para ordenarla y limitarla.

Este patrón de canalización es idiomático en la ingeniería de shell:

1. awk cuenta las apariciones en un array e imprime count key en END
2. sort -rn ordena numéricamente en orden descendente
3. head -n 5 conserva solo los 5 primeros

Mantener awk centrado en la agregación y delegar la ordenación a sort sigue la filosofía de Unix.

Al procesar varios archivos, los valores integrados de awk NR (total de registros leídos) y FNR (registros del archivo actual) le permiten identificar de qué archivo procede cada registro mediante FILENAME.

• FILENAME — nombre del archivo que se está leyendo
• FNR == 1 — se activa al comienzo de cada archivo nuevo (es útil para omitir encabezados)

Esto permite realizar agregaciones por grupos y por archivo en un directorio completo de registros con una sola invocación de awk.

El bucle for (key in array) de awk no garantiza ningún orden. Para obtener una salida determinista, canalice la impresión del bloque END de awk hacia sort o recopile los valores y ordénelos dentro de awk mediante las funciones asorti / asort (solo GNU awk).

Para scripts multiplataforma, normalmente se prefiere el enfoque portátil basado en una canalización de shell:

• sort -k1,1 — ordena alfabéticamente por el primer campo (la clave del grupo)
• sort -k2,2rn — ordena numéricamente en orden descendente por el segundo campo (recuento o suma)

A veces necesita restablecer el estado de agregación durante el procesamiento; por ejemplo, al procesar archivos de registro en los que cada sección está separada por una línea en blanco o por un valor centinela.

• delete arr[key] — elimina una sola entrada
• delete arr — vacía todo el array (GNU awk)
• Compruebe la existencia con (key in arr) antes de acceder para evitar crear entradas fantasma

Esta técnica permite realizar agregaciones en una ventana deslizante o por sección sin reiniciar awk.

Al combinarlo todo, esta es una agregación de calidad de producción en una sola pasada de awk sobre un formato de registro combinado de Nginx. Calcula el recuento de solicitudes, el total de bytes y la tasa de errores por host virtual en un solo recorrido.

Técnicas principales utilizadas:

• Clave compuesta: vhost extraído de un campo
• Arrays paralelos: reqs[], bytes[], errors[]
• Acumulación condicional: $9 >= 400 para contar solo las respuestas con error
• Tabla con formato mediante printf en END

Compruebe su comprensión de un error habitual en la agregación con awk.

Ha aprendido los patrones fundamentales para calcular agregaciones por grupos completamente dentro de awk:

• Recuento: count[$key]++ — incremente en cada fila e imprima en END
• Suma: total[$key] += $N — acumule los campos numéricos por grupo
• Promedio: mantenga count[] y total[] y divida en END
• Mínimo/máximo: inicialice en la primera aparición mediante !(key in arr) y después compare
• Claves compuestas: concatene campos con un separador para agrupar en varias dimensiones
• Salida ordenada: canalice la impresión de END de awk hacia sort para obtener un orden determinista
• Restablecimiento de secciones: use delete arr para borrar el estado entre secciones lógicas de la entrada

Estos patrones le permiten sustituir consultas complejas a bases de datos o varias pasadas de una canalización por una sola invocación eficiente de awk, una habilidad esencial para la ingeniería de shell en entornos de producción.