Log CloudWatch e Log Insights

Amazon CloudWatch Logs è un servizio completamente gestito di aggregazione dei log che raccoglie, archivia e analizza i dati di log dai servizi AWS e dalle proprie applicazioni. A differenza della gestione tradizionale dei log, in cui ci si connette ai server tramite SSH per leggere i file, CloudWatch Logs centralizza tutti i log in un archivio durevole e crittografato, con funzionalità integrate di interrogazione, filtraggio, estrazione delle metriche e gestione della conservazione. Si integra nativamente con EC2, Lambda, ECS, EKS, API Gateway, CloudTrail e VPC Flow Logs.

I log sono organizzati gerarchicamente: un gruppo di log è un contenitore denominato per i log che condividono le stesse impostazioni di conservazione e controllo degli accessi (ad esempio, /aws/lambda/my-function). All'interno di un gruppo di log, ogni flusso di log rappresenta una singola origine di eventi di log sequenziali — un'istanza EC2, un container Lambda o un'attività ECS. Un gruppo di log può avere migliaia di flussi, ma ogni flusso appartiene esattamente a un gruppo di log.

AWS Lambda invia automaticamente a CloudWatch Logs tutto l'output stdout e stderr — è sufficiente che il ruolo di esecuzione Lambda includa logs:CreateLogGroup, logs:CreateLogStream e logs:PutLogEvents. Per le istanze EC2, installi il CloudWatch Agent e configuri quali file di log monitorare (ad esempio, /var/log/nginx/access.log), in quale gruppo di log scrivere e quale modello identifica le singole voci di log.

CloudWatch Logs Insights è un motore interattivo di interrogazione che consente di cercare e analizzare i dati di log usando un linguaggio di query specifico. È possibile eseguire query su uno o più gruppi di log, filtrare per intervallo di tempo, estrarre campi da righe di log strutturate o non strutturate, aggregare i dati e visualizzare i risultati come grafici a barre o serie temporali. Le query vengono eseguite su richiesta e il costo dipende dai GB di dati analizzati — strutturare i log come JSON riduce significativamente il volume analizzato.

Il linguaggio di query di Logs Insights usa comandi separati da pipe: fields seleziona i campi da visualizzare, filter restringe gli eventi (supporta le espressioni regolari con like e =~), stats aggrega i dati, sort ordina i risultati e limit limita il numero di risultati. Il servizio individua automaticamente i campi nelle righe di log formattate in JSON. Per i log non strutturati, è possibile analizzare i valori usando parse con modelli glob o espressioni regolari.

I filtri metrici analizzano continuamente gli eventi di log in ingresso alla ricerca di modelli e incrementano una metrica CloudWatch personalizzata ogni volta che viene rilevata una corrispondenza. Ad esempio, è possibile creare un filtro metrico su un gruppo di log Lambda che incrementi una metrica ErrorCount ogni volta che una riga di log contiene ERROR. È quindi possibile creare un allarme CloudWatch su questa metrica per avvisare il team. In questo modo i log vengono convertiti in metriche utilizzabili senza archiviare i risultati in un database separato.

Un filtro di sottoscrizione trasmette gli eventi di log quasi in tempo reale a un altro servizio per l'elaborazione o l'archiviazione. È possibile trasmetterli ad AWS Lambda (per trasformare e instradare i log), Amazon Kinesis Data Streams (per l'elaborazione di grandi volumi di log) o Amazon Kinesis Firehose (per la distribuzione in S3, OpenSearch o Splunk). Ogni gruppo di log supporta fino a due filtri di sottoscrizione. Lo streaming dei log tra account richiede una destinazione con una policy delle risorse appropriata.

Per impostazione predefinita, CloudWatch Logs conserva i dati indefinitamente, il che può diventare costoso. Imposti policy di conservazione su ogni gruppo di log per eliminare automaticamente i vecchi eventi di log. I periodi di conservazione comuni sono 7 giorni per i log di debug, 30 giorni per i log delle applicazioni e da 1 a 5 anni per i log di audit. È possibile esportare i gruppi di log in S3 per l'archiviazione a lungo termine a basso costo usando l'API create-export-task, anche se le esportazioni sono operazioni batch (non in tempo reale).

VPC Flow Logs acquisisce i metadati relativi al traffico IP che entra ed esce dalle interfacce di rete nella VPC, nelle subnet o nei singoli ENI. I log vengono archiviati in CloudWatch Logs o S3. I flow log includono IP di origine, IP di destinazione, porta, protocollo, numero di pacchetti, numero di byte, azione (ACCEPT o REJECT) e timestamp. Sono preziosi per la risoluzione dei problemi relativi alle regole dei security group e delle NACL, per il rilevamento delle scansioni delle porte e per il controllo dei modelli di traffico — ma NON acquisiscono il payload effettivo dei pacchetti.

CloudWatch Logs Insights è particolarmente efficace per l'analisi dei VPC Flow Logs. È possibile identificare rapidamente il traffico rifiutato, trovare le origini con il maggior volume di byte, rilevare connessioni insolite o isolare il traffico verso un'istanza specifica. Per impostazione predefinita, il formato dei flow log è separato da spazi, ma la pubblicazione in formato JSON su CloudWatch Logs rende automatica l'estrazione dei campi nelle query di Insights.

CloudWatch Logs crittografa per impostazione predefinita tutti i dati inattivi usando chiavi gestite da AWS. Per una maggiore sicurezza — in particolare negli ambienti regolamentati — è possibile associare una chiave KMS gestita dal cliente a un gruppo di log. In questo modo si ottiene il controllo sulla rotazione e sull'accesso alla chiave e si può revocare l'accesso a tutti i dati di log disabilitando la chiave. La chiave KMS deve disporre di una policy della chiave che conceda a CloudWatch Logs l'autorizzazione a usarla per la crittografia e la decrittografia.

In questa lezione ha imparato che: i gruppi e flussi di log organizzano i log in base alla fonte, con un periodo di conservazione configurabile; Logs Insights consente di interrogare e aggregare i dati dei log con un potente linguaggio di query basato sulle pipe; e i filtri delle metriche convertono i pattern dei log in metriche CloudWatch che possono attivare allarmi. Ora esamineremo le dashboard CloudWatch e Container Insights per ottenere visibilità operativa.