Zbieranie logów w CloudWatch

Amazon CloudWatch Logs to zarządzana usługa, która gromadzi, przechowuje i przeszukuje dane dzienników pochodzące z zasobów i aplikacji AWS. Zamiast pozostawać na pojedynczych serwerach, gdzie mogą zostać utracone po zakończeniu instancji, dzienniki są przesyłane do centralnego i trwałego miejsca. Dla inżyniera bezpieczeństwa właśnie centralizacja jest najważniejsza: nie można wykryć ani zbadać czegoś, czego nie widać.

Grupa dzienników to kontener przechowujący powiązane dane dzienników i definiujący wspólne ustawienia. Zwykle jedna grupa dzienników reprezentuje jedną aplikację lub usługę, na przykład /aws/lambda/my-function. Z punktu widzenia bezpieczeństwa najważniejsze są dwa ustawienia: okres przechowywania, który określa, jak długo dzienniki pozostają zapisane przed automatycznym usunięciem, oraz opcjonalny klucz KMS używany do szyfrowania danych w spoczynku.

W grupie dzienników strumień dzienników to sekwencja zdarzeń pochodzących z jednego źródła, takiego jak pojedyncza instancja EC2 lub jedno środowisko wywołania Lambda. Zdarzenia są dostarczane wraz ze znacznikiem czasu i komunikatem. Podział według strumieni utrzymuje źródła oddzielnie, dzięki czemu można prześledzić aktywność do konkretnego miejsca pochodzenia, zachowując jednocześnie logiczne grupowanie wszystkiego w jednej grupie dzienników.

Instancje EC2 i serwery lokalne nie wysyłają dzienników automatycznie. Ujednolicony agent CloudWatch jest instalowany na hoście i przesyła do CloudWatch Logs dzienniki systemu operacyjnego, aplikacji oraz niestandardowe pliki dzienników. Zbiera także dodatkowe metryki, takie jak użycie pamięci i dysku, których hiperwizor nie może obserwować. Agent potrzebuje roli IAM przyznającej mu uprawnienia do zapisywania dzienników.

Wiele usług AWS zapisuje dzienniki bezpośrednio w CloudWatch i nie wymaga do tego żadnego agenta. Lambda zapisuje dane wyjściowe funkcji, VPC Flow Logs mogą kierować dane do grupy dzienników, a Route 53 może rejestrować zapytania DNS. CloudTrail może również dostarczać zdarzenia do CloudWatch Logs, oprócz zapisywania ich w S3. Wiedza o tym, które źródła działają bez agenta, a które wymagają agenta, jest często sprawdzana na egzaminie.

Domyślnie grupy dzienników przechowują dane bezterminowo, co po cichu zwiększa rachunek. Okres przechowywania ustawia się dla każdej grupy dzienników osobno — od jednego dnia do dziesięciu lat. Bezpieczeństwo i zgodność z przepisami często wymagają długiego przechowywania śladów audytowych, natomiast głośne dzienniki debugowania mogą szybko wygasać. Odpowiednie wyważenie tych potrzeb zadowoli zarówno audytorów, jak i zespół finansowy.

CloudWatch Logs domyślnie szyfruje dane w spoczynku, ale można powiązać grupę dzienników z kluczem KMS zarządzanym przez klienta, aby uzyskać większą kontrolę. Umożliwia to dokładne określenie w zasadach klucza, kto może odczytywać dzienniki, oraz tworzy możliwy do skontrolowania zapis użycia klucza. Największe korzyści daje to w przypadku poufnych dzienników zawierających dane uwierzytelniające lub dane osobowe.

Filtr subskrypcji przesyła pasujące zdarzenia dziennika niemal w czasie rzeczywistym do innego miejsca docelowego, takiego jak Lambda, Kinesis Data Streams lub Amazon OpenSearch. Zespoły ds. bezpieczeństwa używają tego mechanizmu do przekazywania dzienników do systemu SIEM lub centralnego konta rejestrowania natychmiast po nadejściu zdarzeń, zamiast eksportować je partiami później. Dzięki temu CloudWatch Logs staje się aktywnym potokiem danych.

W celu długoterminowej i niedrogiej archiwizacji można eksportować dane dzienników do Amazon S3. S3 oferuje tańsze przechowywanie, reguły cyklu życia umożliwiające przenoszenie danych do Glacier oraz Object Lock zapewniający niezmienność. Często stosuje się krótkie przechowywanie w CloudWatch na potrzeby szybkiego wyszukiwania oraz eksport do chronionego zasobnika S3 z blokadą, który przechowuje dokumentację wymaganą przez lata zgodności z przepisami.

CloudWatch Logs Insights to język zapytań przeznaczony do interaktywnego przeszukiwania grup dzienników. Można filtrować, agregować i sortować ogromne ilości danych bez ich eksportowania. Podczas dochodzenia pozwala szybko uzyskać odpowiedzi na pytania takie jak to, który adres IP wywołał najwięcej błędów, dlatego jest dobrym pierwszym krokiem przed przejściem do dokładniejszej analizy w Athena.

Sam potok rejestrowania również jest celem ataku. Roli agenta CloudWatch należy przyznać wyłącznie uprawnienia logs:CreateLogStream i logs:PutLogEvents, nigdy szerokich uprawnień. Grupy dzienników trzeba chronić, aby atakujący nie mogli ich usunąć w celu ukrycia aktywności, a krytyczne dzienniki należy szybko przekazywać do oddzielnego konta. Dziennik, nad którym ma się pełną kontrolę od początku do końca, jest wiarygodnym dowodem.

Sprawdź swoją wiedzę na temat gromadzenia danych przez CloudWatch Logs.

CloudWatch Logs centralizuje dane dzienników w grupach dzienników złożonych ze strumieni dzienników. Hosty EC2 i lokalne potrzebują ujednoliconego agenta, podczas gdy wiele usług integruje się natywnie. Ustaw okres przechowywania, aby kontrolować koszty, dołącz klucz KMS dla poufnych danych i użyj filtrów subskrypcji lub eksportu do S3, aby zasilać system SIEM albo archiwum. Zabezpieczenie potoku pozwala zachować wiarygodność dowodów.