Logs y Log Insights de CloudWatch

Amazon CloudWatch Logs es un servicio de agregación de registros totalmente administrado que recopila, almacena y analiza datos de registro de los servicios de AWS y de sus propias aplicaciones. A diferencia de la gestión tradicional de registros, en la que debe conectarse mediante SSH a los servidores para leer archivos, CloudWatch Logs centraliza todos los registros en un almacén duradero y cifrado, con consultas, filtrado, extracción de métricas y gestión de la retención integrados. Se integra de forma nativa con EC2, Lambda, ECS, EKS, API Gateway, CloudTrail y VPC Flow Logs.

Los registros se organizan jerárquicamente: un grupo de registros es un contenedor con nombre para registros que comparten la misma configuración de retención y control de acceso (por ejemplo, /aws/lambda/my-function). Dentro de un grupo de registros, cada flujo de registros representa una única fuente de eventos de registro secuenciales: una instancia de EC2, un contenedor de Lambda o una tarea de ECS. Un grupo de registros puede tener miles de flujos, pero cada flujo pertenece exactamente a un grupo de registros.

AWS Lambda envía automáticamente toda la salida de stdout y stderr a CloudWatch Logs; solo necesita que el rol de ejecución de Lambda incluya logs:CreateLogGroup, logs:CreateLogStream y logs:PutLogEvents. Para las instancias de EC2, debe instalar el CloudWatch Agent y configurar qué archivos de registro supervisar (por ejemplo, /var/log/nginx/access.log), a qué grupo de registros escribir y qué patrón identifica cada entrada de registro.

CloudWatch Logs Insights es un motor de consultas interactivo que permite buscar y analizar datos de registro mediante un lenguaje de consultas diseñado específicamente para este fin. Puede ejecutar consultas en uno o varios grupos de registros, filtrar por intervalo de tiempo, extraer campos de líneas de registro estructuradas o no estructuradas, agregar datos y visualizar los resultados como gráficos de barras o series temporales. Las consultas se ejecutan bajo demanda y se cobran por GB de datos analizados; estructurar los registros como JSON reduce considerablemente el volumen analizado.

El lenguaje de consultas de Logs Insights utiliza comandos separados por tuberías: fields selecciona los campos que se mostrarán, filter acota los eventos (admite expresiones regulares con like y =~), stats agrega los datos, sort ordena los resultados y limit limita el número de resultados. El servicio detecta automáticamente los campos de las líneas de registro con formato JSON. En el caso de registros no estructurados, puede analizar los valores mediante parse con patrones glob o de expresiones regulares.

Los filtros de métricas analizan continuamente los eventos de registro entrantes en busca de patrones e incrementan una métrica personalizada de CloudWatch cada vez que encuentran una coincidencia. Por ejemplo, puede crear un filtro de métricas en un grupo de registros de Lambda que incremente una métrica ErrorCount cada vez que una línea de registro contenga ERROR. Después, puede crear una alarma de CloudWatch sobre esta métrica para alertar a su equipo. Así convierte los registros en métricas útiles sin almacenar los resultados en una base de datos independiente.

Un filtro de suscripción transmite eventos de registro casi en tiempo real a otro servicio para procesarlos o almacenarlos. Puede transmitirlos a AWS Lambda (para transformar y enrutar registros), Amazon Kinesis Data Streams (para procesar grandes volúmenes de registros) o Amazon Kinesis Firehose (para entregarlos a S3, OpenSearch o Splunk). Cada grupo de registros admite hasta dos filtros de suscripción. La transmisión de registros entre cuentas requiere un destino con una política de recursos adecuada.

De forma predeterminada, CloudWatch Logs almacena los datos indefinidamente, lo que puede resultar caro. Establezca políticas de retención en cada grupo de registros para eliminar automáticamente los eventos antiguos. Los períodos de retención habituales son 7 días para los registros de depuración, 30 días para los registros de aplicaciones y de 1 a 5 años para los registros de auditoría. Puede exportar los grupos de registros a S3 para archivarlos a largo plazo y con bajo coste mediante la API create-export-task, aunque las exportaciones son operaciones por lotes, no en tiempo real.

VPC Flow Logs capturan metadatos sobre el tráfico IP que entra y sale de las interfaces de red de su VPC, sus subredes o sus ENI individuales. Se almacenan en CloudWatch Logs o S3. Los registros de flujo incluyen la IP de origen, la IP de destino, el puerto, el protocolo, el número de paquetes, el número de bytes, la acción (ACCEPT o REJECT) y la marca de tiempo. Son muy útiles para solucionar problemas de las reglas de los grupos de seguridad y las NACL, detectar análisis de puertos y auditar patrones de tráfico, pero NO capturan las cargas útiles reales de los paquetes.

CloudWatch Logs Insights resulta especialmente eficaz para el análisis de VPC Flow Logs. Puede identificar rápidamente el tráfico rechazado, encontrar los principales emisores por volumen de bytes, detectar conexiones inusuales o aislar el tráfico de una instancia concreta. De forma predeterminada, el formato de los registros de flujo está separado por espacios, pero publicarlos en formato JSON en CloudWatch Logs permite extraer automáticamente los campos en las consultas de Insights.

CloudWatch Logs cifra todos los datos en reposo de forma predeterminada mediante claves administradas por AWS. Para aumentar la seguridad, especialmente en entornos regulados, puede asociar una clave de KMS administrada por el cliente a un grupo de registros. Esto le permite controlar la rotación y el acceso a la clave, así como revocar el acceso a todos los datos de registro deshabilitando la clave. La clave de KMS debe tener una política de claves que conceda a CloudWatch Logs permiso para utilizarla en el cifrado y descifrado.

Compruebe su comprensión de los conceptos de AWS Solutions Architect (SAA-C03) de esta lección.

En esta lección ha aprendido que los grupos y flujos de logs organizan los logs por origen y permiten configurar su retención; Logs Insights permite consultar y agregar datos de logs mediante un potente lenguaje de consultas basado en tuberías; y los filtros de métricas convierten patrones de logs en métricas de CloudWatch que pueden activar alarmas. A continuación, exploraremos los paneles de CloudWatch y Container Insights para obtener visibilidad operativa.