Tworzenie runbooków dla typowych zdarzeń

Runbook to szczegółowa instrukcja, której zespół przestrzega podczas określonego rodzaju incydentu. W stresie ludzie zapominają o krokach i pomijają kontrole. Dobry runbook eliminuje konieczność zgadywania.

Przekształca ekspercką wiedzę w powtarzalną procedurę, którą może wykonać dowolna osoba pełniąca dyżur, dzięki czemu reakcje są spójne, szybkie i możliwe do skontrolowania.

Terminy te częściowo się pokrywają, ale przydatne jest następujące rozróżnienie:

• Playbook to strategia wysokiego poziomu — przebieg decyzji i osoby zaangażowane w daną klasę incydentów.
• Runbook to szczegółowa, często techniczna sekwencja działań służących realizacji tej strategii.

Playbooki określają, co należy zrobić; runbooki mówią dokładnie, jak to zrobić.

Dobry runbook zawiera jasno określony wyzwalacz, wymagania wstępne, uporządkowane kroki, oczekiwane wyniki oraz instrukcje wycofania zmian.

Wskazuje dokładne działania w AWS — które wywołanie API, który ekran konsoli i którą rolę należy przyjąć — oraz opisuje, jak wygląda powodzenie na każdym etapie. Niejednoznaczność jest wrogiem, gdy liczą się minuty.

Utwórz osobny runbook dla każdego typowego scenariusza zamiast jednego ogromnego dokumentu:

• Ujawniony klucz dostępu w publicznym repozytorium.
• Przejęta instancja EC2.
• Publicznie dostępny bucket S3.
• Nietypowe wywołania API z nowego regionu.

Ukierunkowane runbooki są szybsze w użyciu niż rozbudowany dokument obejmujący wszystko.

Runbook dotyczący wycieku klucza może wyglądać tak: potwierdzić ustalenie GuardDuty, zidentyfikować właściciela klucza, wyłączyć klucz, przejrzeć CloudTrail pod kątem działań wykonanych przy jego użyciu, zmienić wszystkie powiązane sekrety oraz powiadomić interesariuszy.

Każdy krok odwołuje się do konkretnego narzędzia i zawiera kontrolę weryfikacyjną przed przejściem dalej.

Runbooki zaczynają jako dokumenty wykonywane przez ludzi. W miarę ich dojrzewania można automatyzować bezpieczne i powtarzalne kroki za pomocą dokumentów automatyzacji AWS Systems Manager lub funkcji Lambda.

To spektrum możliwości: decyzje wymagające oceny pozostawia się ludziom, a maszynom powierza mechaniczne kroki, wykonywane niezawodnie i identycznie za każdym razem.

Runbooki automatyzacji AWS Systems Manager (SSM) to zarządzane dokumenty, które wykonują działania na zasobach. AWS dostarcza dziesiątki gotowych dokumentów, a użytkownik może tworzyć własne.

Mogą one zatrzymywać instancje, zmieniać konfiguracje lub łączyć kroki wymagające zatwierdzenia — przekształcając pisemną procedurę w wykonywaną i audytowalną automatyzację.

Nieaktualny runbook jest niebezpieczny: kieruje osoby reagujące na incydent do usunięcia zasobu, który już nie istnieje, lub do przyjęcia roli, której nazwę zmieniono.

Przechowuj runbooki w systemie kontroli wersji, przeglądaj je po każdym incydencie i każdej zmianie architektury oraz sprawdzaj je podczas Game Days, aby błędy wychodziły na jaw w praktyce, a nie podczas prawdziwego zdarzenia.

Runbook jest bezużyteczny, jeśli osoba reagująca na incydent nie może wykonać jego kroków. Zdefiniuj wcześniej role IAM i uprawnienia wymagane przez każdy runbook.

Używaj dedykowanej roli break-glass z podwyższonymi uprawnieniami, która zwykle pozostaje nieużywana, jest szczegółowo rejestrowana, a jej użycie generuje alert. Dzięki temu krok „przyjmij rolę IR” rzeczywiście zadziała, gdy będzie potrzebny.

Działania techniczne to tylko połowa zadania. Runbooki powinny określać, kogo, jak i kiedy powiadomić — dowódcę incydentu, dział prawny, kierownictwo i ewentualnie klientów.

Włącz plan komunikacji do runbooka, aby w ferworze ograniczania skutków nie zapomnieć o powiadomieniach. Jasne i terminowe aktualizacje budują zaufanie oraz ograniczają panikę.

Każdy runbook kończ wyraźnie określonymi krokami weryfikacji oraz zatwierdzeniem. Po ograniczeniu skutków potwierdź, że zagrożenie rzeczywiście zniknęło, zasób znajduje się w znanym, prawidłowym stanie, a incydent można zamknąć.

Udokumentowane zatwierdzenie zapobiega uznaniu nieukończonej reakcji za zakończoną, a notatki z weryfikacji trafiają bezpośrednio do przeglądu po incydencie.

Wybierz najlepszą charakterystykę.

Runbooki przekształcają ekspercką wiedzę o reagowaniu w powtarzalne, uporządkowane kroki, które może wykonać dowolna osoba pełniąca dyżur. Utwórz osobny runbook dla każdego typowego zdarzenia, uwzględnij wyzwalacz, działania, weryfikację i komunikację oraz wskaż dokładne narzędzia i role AWS. Utwórz wcześniej wymagany dostęp IAM, przekształcaj mechaniczne kroki w automatyzację SSM Automation lub Lambda, a całość przechowuj w systemie kontroli wersji i regularnie ćwicz, aby runbooki nigdy się nie zestarzały.