CloudWatch Logs en Log Insights

Amazon CloudWatch Logs is een volledig beheerde service voor het verzamelen van loggegevens die loggegevens uit AWS-services en je eigen toepassingen verzamelt, opslaat en analyseert. In tegenstelling tot traditioneel logbeheer, waarbij je via SSH verbinding maakt met servers om bestanden te lezen, centraliseert CloudWatch Logs alle loggegevens in een duurzame, versleutelde opslag met ingebouwde mogelijkheden voor query's, filtering, metriekextractie en beheer van de bewaartermijn. De service integreert standaard met EC2, Lambda, ECS, EKS, API Gateway, CloudTrail en VPC Flow Logs.

Loggegevens zijn hiërarchisch georganiseerd: een loggroep is een benoemde container voor loggegevens met dezelfde instellingen voor bewaartermijn en toegangsbeheer (bijvoorbeeld /aws/lambda/my-function). Binnen een loggroep vertegenwoordigt elke logstream één bron van opeenvolgende loggebeurtenissen — één EC2-instance, één Lambda-container of één ECS-taak. Een loggroep kan duizenden streams bevatten, maar elke stream behoort tot precies één loggroep.

AWS Lambda verzendt alle uitvoer naar stdout en stderr automatisch naar CloudWatch Logs — je hoeft alleen de uitvoeringsrol van Lambda de machtigingen logs:CreateLogGroup, logs:CreateLogStream en logs:PutLogEvents te geven. Voor EC2-instances installeer je de CloudWatch Agent en configureer je welke logbestanden moeten worden gevolgd (bijvoorbeeld /var/log/nginx/access.log), naar welke loggroep ze moeten worden geschreven en welk patroon afzonderlijke logregels identificeert.

CloudWatch Logs Insights is een interactieve query-engine waarmee je loggegevens kunt doorzoeken en analyseren met een speciaal daarvoor ontworpen querytaal. Je kunt query's uitvoeren over een of meer loggroepen, filteren op tijdsbereik, velden uit gestructureerde of ongestructureerde logregels halen, gegevens aggregeren en resultaten visualiseren als staafdiagrammen of tijdreeksen. Query's worden op aanvraag uitgevoerd en er worden kosten in rekening gebracht per GB gescande gegevens — door loggegevens als JSON te structureren, verklein je het scanvolume aanzienlijk.

De querytaal van Logs Insights gebruikt opdrachten die door pipes worden gescheiden: fields selecteert welke velden moeten worden weergegeven, filter beperkt de gebeurtenissen (ondersteunt reguliere expressies met like en =~), stats aggregeert gegevens, sort sorteert resultaten en limit beperkt het aantal resultaten. De service detecteert automatisch velden in logregels met JSON-indeling. Voor ongestructureerde loggegevens kun je waarden parseren met parse en jokerteken- of reguliere-expressiepatronen.

Metriekfilters scannen binnenkomende loggebeurtenissen continu op patronen en verhogen elke keer dat er een overeenkomst wordt gevonden een aangepaste CloudWatch-metriek. Je kunt bijvoorbeeld een metriekfilter maken voor een Lambda-loggroep dat een metriek ErrorCount verhoogt telkens wanneer een logregel ERROR bevat. Vervolgens maak je een CloudWatch-alarm voor deze metriek om je team te waarschuwen. Zo zet je loggegevens om in bruikbare metriek zonder resultaten in een afzonderlijke database op te slaan.

Een abonnementsfilter streamt loggebeurtenissen vrijwel in realtime naar een andere service voor verwerking of opslag. Je kunt streamen naar AWS Lambda (om loggegevens te transformeren en door te sturen), Amazon Kinesis Data Streams (voor verwerking van grote hoeveelheden loggegevens) of Amazon Kinesis Firehose (om gegevens naar S3, OpenSearch of Splunk te bezorgen). Elke loggroep ondersteunt maximaal twee abonnementsfilters. Voor het streamen van loggegevens tussen accounts is een bestemming met een geschikt resourcebeleid vereist.

CloudWatch Logs bewaart gegevens standaard onbeperkt, wat duur kan worden. Stel voor elke loggroep bewaarbeleid in om oude loggebeurtenissen automatisch te verwijderen. Veelgebruikte bewaartermijnen zijn 7 dagen voor foutopsporingsloggegevens, 30 dagen voor toepassingsloggegevens en 1–5 jaar voor auditloggegevens. Je kunt loggroepen naar S3 exporteren voor langdurige, goedkope archivering met de API create-export-task, maar exports zijn batchbewerkingen en niet realtime.

VPC Flow Logs leggen metagegevens vast over IP-verkeer van en naar netwerkinterfaces in je VPC, subnetten of afzonderlijke ENI's. Ze worden opgeslagen in CloudWatch Logs of S3. Flow Logs bevatten het bron-IP-adres, doel-IP-adres, de poort, het protocol, het aantal pakketten, het aantal bytes, de actie (ACCEPT of REJECT) en een tijdstempel. Ze zijn onmisbaar voor het oplossen van problemen met beveiligingsgroep- en NACL-regels, het detecteren van poortscans en het controleren van verkeerspatronen — maar ze leggen NIET de daadwerkelijke inhoud van pakketten vast.

CloudWatch Logs Insights is bijzonder krachtig voor analyse van VPC Flow Logs. Je kunt snel afgewezen verkeer identificeren, de grootste gegevensverzenders op basis van het aantal bytes vinden, ongebruikelijke verbindingen detecteren of verkeer naar een specifieke instance isoleren. De indeling van Flow Logs gebruikt standaard spaties als scheidingstekens, maar door gegevens in JSON-indeling naar CloudWatch Logs te publiceren, verloopt veldextractie automatisch in Insights-query's.

CloudWatch Logs versleutelt standaard alle gegevens in rust met door AWS beheerde sleutels. Voor betere beveiliging — vooral in gereguleerde omgevingen — kun je een door de klant beheerde KMS-sleutel aan een loggroep koppelen. Zo krijg je controle over sleutelrotatie en toegang en kun je de toegang tot alle loggegevens intrekken door de sleutel uit te schakelen. Het sleutelbeleid van de KMS-sleutel moet CloudWatch Logs toestemming geven om de sleutel voor versleuteling en ontsleuteling te gebruiken.

In deze les heb je geleerd dat loggroepen en logstromen logboeken op basis van hun bron organiseren en instelbare bewaartermijnen hebben, dat Logs Insights loggegevens kan opvragen en aggregeren met een krachtige op pijplijnen gebaseerde querytaal, en dat metriekfilters patronen in logboeken omzetten in CloudWatch-metrieken die alarmen kunnen activeren. Hierna bekijken we CloudWatch Dashboards en Container Insights voor operationeel inzicht.