CloudWatch로 로그 수집

Amazon CloudWatch Logs는 AWS 리소스와 애플리케이션에서 로그 데이터를 수집하고 저장하며 검색하는 관리형 서비스입니다. 로그가 개별 서버에만 남아 있으면 인스턴스가 종료될 때 손실될 수 있지만, 이 서비스를 사용하면 중앙의 내구성 있는 저장소로 전송됩니다. 보안 엔지니어에게 이러한 중앙화가 중요한 이유는 분명합니다. 볼 수 없는 것은 탐지하거나 조사할 수 없기 때문입니다.

로그 그룹은 관련 로그 데이터를 담고 공통 설정을 정의하는 컨테이너입니다. 일반적으로 하나의 로그 그룹은 하나의 애플리케이션이나 서비스를 나타내며, 예를 들면 /aws/lambda/my-function과 같습니다. 보안 측면에서 가장 중요한 설정은 두 가지입니다. 로그를 자동으로 삭제하기 전까지 얼마나 오래 보관할지 정하는 보존 기간과, 저장된 데이터를 암호화하는 데 선택적으로 사용하는 KMS 키입니다.

로그 그룹 안에서 로그 스트림은 하나의 EC2 인스턴스나 하나의 Lambda 호출 환경처럼 단일 출처에서 발생한 이벤트의 시퀀스입니다. 이벤트에는 타임스탬프와 메시지가 함께 들어옵니다. 스트림별로 나누면 출처를 분리할 수 있으므로 활동을 특정 원점까지 추적하면서도 모든 데이터를 하나의 로그 그룹 아래에서 논리적으로 묶을 수 있습니다.

EC2 인스턴스와 온프레미스 서버는 로그를 자동으로 전송하지 않습니다. 호스트에 통합 CloudWatch 에이전트를 설치하면 운영 체제, 애플리케이션 및 사용자 지정 로그 파일을 CloudWatch Logs로 전송할 수 있습니다. 또한 하이퍼바이저가 확인할 수 없는 메모리와 디스크 사용량 같은 추가 지표도 수집합니다. 에이전트가 로그를 기록하려면 해당 권한을 부여하는 IAM 역할이 필요합니다.

많은 AWS 서비스는 에이전트 없이 CloudWatch에 직접 로그를 기록합니다. Lambda는 함수 출력을 기록하고, VPC Flow Logs는 로그 그룹을 대상으로 지정할 수 있으며, Route 53은 DNS 쿼리를 기록할 수 있습니다. CloudTrail은 S3뿐 아니라 CloudWatch Logs에도 이벤트를 전달할 수 있습니다. 어떤 출처가 에이전트 없이 작동하고 어떤 출처에 에이전트가 필요한지 아는 것은 시험에서 자주 구분되는 내용입니다.

기본적으로 로그 그룹은 데이터를 영구적으로 보관하므로 비용이 조용히 증가할 수 있습니다. 로그 그룹별로 보존 기간을 설정할 수 있으며, 하루부터 10년까지 지정할 수 있습니다. 보안 및 규정 준수 요구 사항 때문에 감사 추적 기록은 장기간 보관해야 하는 경우가 많지만, 양이 많은 디버그 로그는 빠르게 만료시킬 수 있습니다. 두 가지를 균형 있게 조정하면 감사 담당자와 재무 팀 모두를 만족시킬 수 있습니다.

CloudWatch Logs는 기본적으로 저장 중인 데이터를 암호화하지만, 더 엄격하게 제어하려면 로그 그룹에 고객 관리형 KMS 키를 연결할 수 있습니다. 이렇게 하면 키 정책을 통해 누가 로그를 읽을 수 있는지 정확히 관리하고, 키 사용에 대한 감사 가능한 기록도 생성할 수 있습니다. 자격 증명이나 PII가 포함된 민감한 로그에 특히 유용합니다.

구독 필터는 일치하는 로그 이벤트를 거의 실시간으로 Lambda, Kinesis Data Streams 또는 Amazon OpenSearch 같은 다른 대상으로 전송합니다. 보안 팀은 이벤트가 도착하는 즉시 로그를 SIEM이나 중앙 로깅 계정으로 전달하는 데 이를 사용하며, 나중에 일괄적으로 내보내지 않습니다. 이를 통해 CloudWatch Logs를 실시간 파이프라인으로 활용할 수 있습니다.

장기간의 저비용 보관을 위해 로그 데이터를 Amazon S3로 내보낼 수 있습니다. S3는 더 저렴한 저장소와 Glacier로 이동시키는 수명 주기 규칙, 변경 불가능성을 보장하는 Object Lock을 제공합니다. 일반적인 방식은 빠른 검색을 위해 CloudWatch에는 짧은 기간 동안 보관하고, 수년간의 규정 준수 기록은 접근을 제한한 S3 버킷으로 내보내는 것입니다.

CloudWatch Logs Insights는 로그 그룹을 대화형으로 검색하기 위한 전용 쿼리 언어입니다. 아무것도 내보내지 않고도 방대한 양의 데이터에서 필터링, 집계 및 정렬을 수행할 수 있습니다. 조사 중에는 어떤 IP가 가장 많은 오류를 일으켰는지와 같은 질문에 빠르게 답할 수 있으므로, 심층 분석을 위해 Athena로 넘어가기 전의 빠른 첫 단계로 활용할 수 있습니다.

로깅 파이프라인 자체도 공격 대상입니다. CloudWatch 에이전트 역할에는 logs:CreateLogStream과 logs:PutLogEvents만 부여하고, 광범위한 권한은 절대 부여하지 마십시오. 공격자가 활동을 숨기기 위해 로그 그룹을 삭제하지 못하도록 보호하고, 중요한 로그는 신속하게 별도의 계정으로 전달하십시오. 처음부터 끝까지 직접 통제하는 로그라야 신뢰할 수 있는 증거가 됩니다.

CloudWatch Logs 수집에 대한 이해도를 확인하십시오.

CloudWatch Logs는 로그 스트림으로 구성된 로그 그룹에 로그 데이터를 중앙화합니다. EC2와 온프레미스 호스트에는 통합 에이전트가 필요하지만, 많은 서비스는 기본적으로 통합 기능을 제공합니다. 보존 기간을 설정해 비용을 관리하고, 민감한 데이터에는 KMS 키를 연결하며, 구독 필터 또는 S3 내보내기를 사용해 SIEM으로 전달하거나 보관하십시오. 파이프라인을 철저히 보호하면 증거의 신뢰성을 유지할 수 있습니다.