Análisis de registros web y de aplicaciones a gran escala

Cada servidor HTTP —Apache, Nginx, Caddy— escribe una línea en un registro de acceso por cada solicitud. Comprender la estructura de estas líneas es la base de todo el trabajo de análisis de registros.

Una línea típica del formato de registro combinado (CLF) tiene este aspecto:

• IP del cliente — quién realizó la solicitud
• Marca de tiempo — cuándo ocurrió
• Línea de solicitud — método, ruta y protocolo
• Código de estado — respuesta HTTP (200, 404, 500…)
• Bytes enviados — tamaño del cuerpo de la respuesta
• Referer — página de origen
• User-Agent — cadena del navegador o bot

Línea de ejemplo de /var/log/nginx/access.log:

192.168.1.10 - alice [11/Jun/2026:14:32:01 +0000] "GET /api/orders HTTP/1.1" 200 1482 "-" "curl/7.88.1"

A gran escala, estos archivos llegan a crecer hasta contener millones de líneas al día. El objetivo de esta lección es extraer, filtrar y agregar campos de forma eficiente mediante herramientas BASH estándar.

Antes de escribir una canalización, inspeccione el registro para comprender su estructura. tail permite observar un flujo en directo; grep lo reduce inmediatamente a las líneas relevantes.

Patrones habituales:

• tail -n 1000 access.log — últimas 1000 líneas
• tail -f access.log — seguir en tiempo real
• tail -f access.log | grep '" 5' — solo errores 5xx a medida que llegan

La idea clave es que grep busca coincidencias en la línea completa, por lo que es importante anclar el patrón. Buscar ' 500 ' (con espacios) evita hacer coincidir accidentalmente una ruta URL que contenga la cadena 500.

cut divide cada línea usando un delimitador e imprime los campos seleccionados. En el formato de registro combinado, el código de estado se encuentra en el campo 9 al dividir por espacios, pero las comillas de la línea de solicitud hacen que sea más seguro contar desde un elemento de referencia conocido.

Un truco fiable: como la línea de solicitud siempre está entre comillas, el código de estado siempre es el primer token después de las comillas de cierre del campo de solicitud. Usar cut -d'"' -f3 aísla todo lo que aparece después de las comillas de la solicitud; después, un segundo cut -d' ' -f2 selecciona el código de estado.

Este cut en dos etapas es un modismo clásico para los registros CLF: es rápido y no requiere dependencias externas.

awk es más potente que cut porque puede acumular información entre líneas. El patrón idiomático para contar apariciones consiste en usar un array asociativo indexado por el valor que le interesa.

En CLF, el campo $9 (indexado desde 1 y delimitado por espacios) contiene el código de estado. awk procesa cada línea, incrementa un contador y después imprime un resumen ordenado en el bloque END.

¿Por qué preferir awk a cut | sort | uniq -c? Porque awk lo hace en una sola pasada sin ordenar primero todo el archivo, algo fundamental cuando el registro ocupa cientos de gigabytes.

Una de las tareas operativas más habituales es averiguar qué IP de clientes generan más errores. Esto combina el filtrado (solo líneas de error) con la extracción de campos (la IP del campo 1).

La estrategia de la canalización:

• Use awk para filtrar por el rango de códigos de estado y extraer la IP en un solo paso; evite una pasada independiente con grep
• Conecte la salida a sort | uniq -c | sort -rn | head para obtener rápidamente una vista de los primeros resultados

Este patrón es suficientemente rápido para ejecutarse en un archivo de registro de 10 GB en un único servidor sin cargarlo en memoria.

Los servidores de aplicaciones (Rails, Gunicorn, Express con morgan, etc.) suelen registrar la duración de las solicitudes. Nginx puede configurarse para emitir $request_time como un campo adicional al final de cada línea.

Ejemplo de un formato de registro personalizado de Nginx en nginx.conf:

log_format timed '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" rt=$request_time';

Una vez que la latencia está en el registro, puede usar awk para calcular el promedio, el máximo y aproximaciones de percentiles en millones de solicitudes sin cargar los datos en una base de datos.

Un único promedio oculta la latencia de cola. Un histograma muestra la distribución: si la mayoría de las solicitudes son rápidas y unas pocas muy lentas (cola larga), o si la distribución es uniforme.

El truco consiste en agrupar cada valor en un intervalo redondeado mediante aritmética de enteros dentro de awk. Multiplicar por 1000 (para convertir los segundos en milisegundos) y aplicar después una división entera produce límites de intervalo claros.

Esto genera un histograma de texto que puede leer directamente en un terminal y que, a menudo, resulta más rápido que enviar los datos a Grafana para una investigación rápida.

El campo User-Agent (campo 6 al dividir por ") identifica a los clientes. Los rastreadores, scrapers y bots maliciosos suelen contaminar las métricas e inflar los recuentos de errores. Filtrarlos ofrece una imagen más limpia del tráfico de usuarios reales.

Firmas habituales de bots: bot, crawler, spider, curl, python-requests, Googlebot, Bingbot.

Use grep -iv (inversión sin distinguir mayúsculas de minúsculas) para excluir bots conocidos, o use awk para dividir por " y hacer coincidir directamente el campo UA.

Saber qué endpoints reciben más tráfico —y generan más errores— ayuda a priorizar la optimización y la planificación de capacidad. La ruta de la solicitud se encuentra dentro del campo de solicitud entre comillas.

Divida por ", tome el campo 2 (la línea de solicitud) y, después, elimine el método y el protocolo para aislar la ruta. En las API con parámetros de ruta como /users/12345, también puede querer normalizar los identificadores a /users/:id mediante sed o un patrón de awk más complejo.

El análisis de una sola pasada más potente combina varios campos a la vez: endpoint, código de estado y, opcionalmente, latencia. Los arrays asociativos de awk indexados por valores compuestos hacen que este proceso sea claro y rápido.

El patrón siguiente cuenta los errores 5xx por endpoint en una sola pasada: no utiliza archivos temporales ni ordenaciones intermedias hasta el final. Este es el enfoque utilizado en scripts de observabilidad en producción cuando se necesitan respuestas en menos de un minuto a partir de un registro grande.

En la mayoría de los servidores, los registros se rotan a diario. Los archivos antiguos se comprimen con gzip como access.log.1.gz, access.log.2.gz, etc. Las herramientas estándar no pueden leerlos directamente, pero hay dos enfoques que funcionan correctamente:

• zcat — descomprime en la salida estándar y conecta el resultado a la canalización
• zgrep — ejecuta grep directamente dentro de los archivos gzip sin extraerlos

Para analizar una semana completa de registros que incluya archivos sin comprimir y comprimidos, use la sustitución de procesos o concatene con zcat. El fragmento siguiente procesa los últimos 7 archivos rotados y el registro activo actual en una sola invocación de awk, sin necesidad de archivos temporales.

Está escribiendo una línea de awk para filtrar únicamente las respuestas HTTP 4xx de un registro de acceso estándar de Nginx en Combined Log Format (delimitado por espacios y con la línea de solicitud entre comillas). ¿Qué número de campo identifica correctamente el código de estado HTTP?

En esta lección ha creado un kit de herramientas completo para analizar registros web y de aplicaciones a gran escala utilizando únicamente utilidades estándar de BASH.

Técnicas principales:

• La estructura es lo primero — Combined Log Format tiene una disposición de campos predecible; conocerla le permite dividir los datos de forma fiable con cut -d'"' o referencias a campos de awk.
• Extracción del código de estado — awk '{ count[$9]++ }' cuenta todos los códigos en una sola pasada; utilice $9 ~ /^5/ para filtrar los errores del servidor.
• Análisis de latencia — analice el campo personalizado rt= con awk para calcular promedios, máximos e intervalos de histogramas sin ninguna herramienta externa.
• Análisis de clientes y bots — divida por " con -F'"' para acceder al campo User-Agent; use una tubería con grep -iv para excluir los bots antes de realizar la agregación.
• Normalización de endpoints — utilice gsub(/\/[0-9]+/, "/:id") dentro de awk para agrupar las rutas parametrizadas antes de contarlas.
• Registros rotados — combine cat y zcat en un subshell para enviar todos los archivos de rotación a una sola pasada de la canalización.

Estos patrones se pueden combinar: puede encadenar el filtrado, la extracción, la normalización y la agregación en una sola canalización que procese cientos de millones de líneas en hardware convencional. Si domina estas primitivas, rara vez necesitará un servicio específico de agregación de registros para investigar incidentes puntuales.