Logs verzamelen in CloudWatch

Amazon CloudWatch Logs is de beheerde service die loggegevens van uw AWS-resources en toepassingen verzamelt, opslaat en doorzoekbaar maakt. In plaats van dat logboeken op afzonderlijke servers staan, waar ze verloren kunnen gaan wanneer een instantie wordt beëindigd, worden ze naar één centrale, duurzame locatie gestreamd. Voor een beveiligingsengineer is die centralisatie het belangrijkste: u kunt niet detecteren of onderzoeken wat u niet kunt zien.

Een loggroep is een container met gerelateerde loggegevens en gemeenschappelijke instellingen. Meestal staat één loggroep voor één toepassing of service, zoals /aws/lambda/my-function. Voor beveiliging zijn twee instellingen het belangrijkst: de bewaarperiode, die bepaalt hoelang logboeken worden bewaard voordat ze automatisch worden verwijderd, en de optionele KMS-sleutel die wordt gebruikt om de gegevens in rust te versleutelen.

Binnen een loggroep is een logstream een reeks gebeurtenissen uit één bron, zoals één EC2-instantie of één aanroepomgeving van Lambda. Gebeurtenissen komen binnen met een tijdstempel en een bericht. Door bronnen per stream te scheiden, kunt u activiteiten terugleiden naar een specifieke oorsprong en alles toch logisch onder één loggroep groeperen.

EC2-instanties en on-premises servers versturen niet automatisch logboeken. De uniforme CloudWatch-agent wordt op de host geïnstalleerd om logbestanden van het besturingssysteem, toepassingen en aangepaste bronnen naar CloudWatch Logs te verzenden. De agent verzamelt ook extra metrische gegevens, zoals geheugengebruik en schijfgebruik, die de hypervisor niet kan zien. De agent heeft een IAM-rol nodig die toestemming geeft om logboeken te schrijven.

Veel AWS-services schrijven rechtstreeks naar CloudWatch, zonder agent. Lambda schrijft de uitvoer van functies, VPC Flow Logs kunnen naar een loggroep worden gestuurd en Route 53 kan DNS-query's registreren. CloudTrail kan gebeurtenissen naast S3 ook aan CloudWatch Logs leveren. Weten welke bronnen agentloos en welke agentgebaseerd zijn, is een veelvoorkomend onderscheid op examens.

Loggroepen bewaren gegevens standaard voor altijd, waardoor uw rekening ongemerkt oploopt. U stelt de bewaartermijn per loggroep in, van één dag tot tien jaar. Beveiligings- en nalevingsvereisten vragen vaak om een lange bewaartermijn voor auditsporen, terwijl luidruchtige foutopsporingslogboeken snel mogen verlopen. Door die twee belangen af te wegen, houdt u zowel auditors als uw financiële team tevreden.

CloudWatch Logs versleutelt gegevens standaard wanneer ze niet actief worden gebruikt, maar u kunt een door de klant beheerde KMS-sleutel aan een loggroep koppelen voor meer controle. Zo bepaalt u via het sleutelbeleid precies wie de logboeken mag lezen en ontstaat er een controleerbaar overzicht van het sleutelgebruik. Gevoelige logboeken met inloggegevens of persoonlijk identificeerbare informatie hebben hier het meeste baat bij.

Een abonnementsfilter streamt overeenkomende logboekgebeurtenissen vrijwel in realtime naar een andere bestemming, zoals Lambda, Kinesis Data Streams of Amazon OpenSearch. Beveiligingsteams gebruiken dit om logboeken direct na binnenkomst naar een SIEM of een centraal account voor logboekregistratie door te sturen, in plaats van ze later in batches te exporteren. Zo wordt CloudWatch Logs een live pijplijn.

Voor langdurige, goedkope archivering kunt u loggegevens naar Amazon S3 exporteren. S3 biedt goedkopere opslag, levenscyclusregels naar Glacier en Object Lock voor onveranderlijkheid. Een veelgebruikt patroon is een korte bewaartermijn in CloudWatch voor snel zoeken, plus een export naar een streng beveiligde S3-bucket voor het nalevingsarchief dat jarenlang moet worden bewaard.

CloudWatch Logs Insights is een speciaal ontworpen querytaal om loggroepen interactief te doorzoeken. U kunt over grote hoeveelheden gegevens filteren, aggregeren en sorteren zonder iets te exporteren. Tijdens een onderzoek kunt u hiermee snel vragen beantwoorden, zoals welk IP-adres de meeste fouten veroorzaakte. Daarmee is het een snelle eerste stap voordat u voor diepgaandere analyse overstapt op Athena.

De pijplijn voor logboekregistratie is zelf een doelwit. Geef de CloudWatch-agentrol alleen logs:CreateLogStream en logs:PutLogEvents, en nooit brede machtigingen. Bescherm loggroepen zodat aanvallers ze niet kunnen verwijderen om activiteiten te verbergen, en stuur kritieke logboeken snel door naar een afzonderlijk account. Een logboek dat u van begin tot eind beheert, is bewijs dat u kunt vertrouwen.

CloudWatch Logs centraliseert loggegevens in loggroepen die uit logstreams bestaan. Voor EC2 en on-premises hosts is de uniforme agent nodig, terwijl veel services native integreren. Stel de bewaartermijn in om de kosten te beheersen, koppel een KMS-sleutel voor gevoelige gegevens en gebruik abonnementsfilters of een S3-export om een SIEM te voeden of gegevens te archiveren. Door de pijplijn goed te beveiligen, blijft uw bewijs betrouwbaar.