Raccogliere i log in CloudWatch

Amazon CloudWatch Logs è il servizio gestito che raccoglie, archivia e cerca i dati di log provenienti dalle risorse e dalle applicazioni AWS. Invece di rimanere sui singoli server, dove possono andare persi quando un’istanza viene terminata, i log vengono trasmessi a una posizione centrale e duratura. Per un security engineer, questa centralizzazione è fondamentale: non è possibile rilevare o analizzare ciò che non si può vedere.

Un log group è un contenitore che raccoglie dati di log correlati e definisce impostazioni condivise. In genere, un gruppo di log rappresenta un’applicazione o un servizio, come /aws/lambda/my-function. Dal punto di vista della sicurezza, le due impostazioni più importanti sono il periodo di conservazione, che determina per quanto tempo i log vengono mantenuti prima dell’eliminazione automatica, e la chiave KMS opzionale usata per crittografare i dati a riposo.

All’interno di un gruppo di log, un log stream è una sequenza di eventi provenienti da una singola origine, ad esempio un’istanza EC2 o un ambiente di invocazione Lambda. Gli eventi arrivano con un timestamp e un messaggio. Suddividere i dati per stream mantiene separate le origini, permettendo di ricondurre l’attività a una specifica origine e di raggruppare comunque tutto logicamente in un unico gruppo di log.

Le istanze EC2 e i server on-premises non inviano automaticamente i log. L’agente CloudWatch unificato viene installato sull’host per trasferire in CloudWatch Logs i file di log del sistema operativo, delle applicazioni e personalizzati. Raccoglie anche metriche aggiuntive, come l’utilizzo della memoria e del disco, che l’hypervisor non può vedere. L’agente richiede un ruolo IAM che gli conceda l’autorizzazione a scrivere i log.

Molti servizi AWS scrivono direttamente in CloudWatch senza alcun agente. Lambda registra l’output delle funzioni, VPC Flow Logs può essere indirizzato a un gruppo di log e Route 53 può registrare le query DNS. Anche CloudTrail può distribuire gli eventi in CloudWatch Logs, oltre che in S3. Sapere quali origini sono prive di agente e quali richiedono un agente è una distinzione frequente negli esami.

Per impostazione predefinita, i gruppi di log conservano i dati per sempre, facendo aumentare silenziosamente la fattura. Può impostare la conservazione per ogni gruppo di log, da un giorno fino a dieci anni. La sicurezza e la conformità richiedono spesso una conservazione prolungata per i trail di audit, mentre i rumorosi log di debug possono scadere rapidamente. Trovare il giusto equilibrio soddisfa sia gli auditor sia il team finanziario.

CloudWatch Logs crittografa i dati a riposo per impostazione predefinita, ma può associare una customer managed KMS key a un gruppo di log per ottenere un controllo più rigoroso. In questo modo può stabilire esattamente chi può leggere i log tramite la policy della chiave e ottenere un registro verificabile dell’utilizzo della chiave. I log sensibili che contengono credenziali o dati personali traggono il massimo beneficio da questa configurazione.

Un subscription filter trasmette quasi in tempo reale gli eventi di log corrispondenti a un’altra destinazione, come Lambda, Kinesis Data Streams o Amazon OpenSearch. I team di sicurezza lo usano per inoltrare i log a un SIEM o a un account di logging centrale non appena arrivano, invece di esportarli in batch in un secondo momento. In questo modo CloudWatch Logs diventa una pipeline in tempo reale.

Per un’archiviazione a lungo termine e a basso costo, può esportare i dati di log in Amazon S3. S3 offre uno storage più economico, regole del ciclo di vita verso Glacier e Object Lock per garantire l’immutabilità. Un approccio comune consiste nel mantenere una conservazione breve in CloudWatch per ricerche rapide e nell’esportare i dati in un bucket S3 protetto e bloccato per il registro di conformità pluriennale.

CloudWatch Logs Insights è un linguaggio di query progettato per cercare interattivamente nei gruppi di log. Può filtrare, aggregare e ordinare enormi quantità di dati senza esportare nulla. Durante un’indagine consente di rispondere rapidamente a domande come quale IP ha generato più errori, rappresentando un primo passaggio rapido prima di passare ad Athena per un’analisi più approfondita.

La pipeline di logging è essa stessa un obiettivo. Conceda al ruolo dell’agente CloudWatch solo logs:CreateLogStream e logs:PutLogEvents, mai autorizzazioni ampie. Protegga i gruppi di log affinché gli attaccanti non possano eliminarli per nascondere le proprie attività e inoltri rapidamente i log critici a un account separato. Un log che controlla dall’inizio alla fine è una prova di cui può fidarsi.

Verifichi la sua comprensione della raccolta con CloudWatch Logs.

CloudWatch Logs centralizza i dati di log in log groups composti da log streams. Gli host EC2 e on-premises richiedono l’agente unificato, mentre molti servizi si integrano in modo nativo. Imposti la retention per controllare i costi, associ una chiave KMS per i dati sensibili e usi i subscription filters o l’esportazione S3 per alimentare un SIEM o un archivio. Proteggere la pipeline mantiene affidabili le prove raccolte.