Bygge runbooks for vanlige hendelser

En runbook er en trinnvis veiledning teamet følger under en bestemt type hendelse. Under stress glemmer man trinn og hopper over kontroller. En god runbook fjerner behovet for gjetting.

Den gjør ekspertkunnskap om til en repeterbar prosedyre som alle som har vakt, kan utføre. Det gjør responsen konsekvent, rask og etterprøvbar.

Begrepene overlapper, men et nyttig skille er:

• En playbook er strategien på høyt nivå – beslutningsflyten og hvem som involveres ved en klasse av hendelser.
• En runbook er den detaljerte, ofte tekniske rekkefølgen av handlinger som gjennomfører strategien.

Playbooks avgjør hva som skal gjøres; runbooks sier nøyaktig hvordan det skal gjøres.

En solid runbook inneholder en tydelig utløser, forutsetninger, trinn i riktig rekkefølge, forventede resultater og veiledning for tilbakeføring.

Den angir nøyaktig hvilke AWS-handlinger som skal utføres – hvilket API-kall, hvilket konsollbilde og hvilken rolle som skal antas – samt hvordan De ser at hvert trinn er vellykket. Tvetydighet er fienden når hvert minutt teller.

Lag én runbook per vanlig scenario i stedet for ett stort dokument:

• Eksponert tilgangsnøkkel i et offentlig repository.
• Kompromittert EC2-instans.
• Offentlig eksponert S3-bøtte.
• Uvanlige API-kall fra en ny region.

Målrettede runbooks er raskere å følge enn en omfattende samledokumentasjon.

En runbook for en lekket nøkkel kan se slik ut: bekreft GuardDuty-funnet, identifiser nøkkelens eier, deaktiver nøkkelen, gjennomgå CloudTrail for handlinger som er utført med den, roter berørte hemmeligheter og varsle interessentene.

Hvert trinn viser til det nøyaktige verktøyet og inneholder en kontroll av resultatet før De går videre.

Runbooks starter som dokumenter mennesker følger. Etter hvert som de modnes, kan De automatisere de trygge og repeterbare trinnene med AWS Systems Manager Automation-dokumenter eller Lambda-funksjoner.

Dette er et spekter: La mennesker ta avgjørelser som krever skjønn, mens maskiner håndterer de mekaniske trinnene pålitelig og identisk hver gang.

AWS Systems Manager (SSM) Automation-runbooks er administrerte dokumenter som utfører handlinger på tvers av ressursene Deres. AWS leverer dusinvis av ferdigbygde dokumenter, og De kan skrive egne dokumenter.

De kan stoppe instanser, endre konfigurasjoner eller kjede sammen trinn med godkjenninger – og gjøre en skriftlig prosedyre om til kjørbar, reviderbar automatisering.

En utdatert runbook er farlig: Den kan sende innsatspersonellet for å slette en ressurs som ikke lenger finnes, eller anta en rolle som har fått nytt navn.

Oppbevar runbooks i versjonskontroll, gjennomgå dem etter hver hendelse og arkitekturendring, og valider dem under game days, slik at feil oppdages i praksis og ikke under en reell hendelse.

En runbook er ubrukelig hvis innsatspersonellet ikke kan utføre trinnene. Forhåndsdefiner IAM-rollene og tillatelsene hver runbook krever.

Bruk en dedikert break-glass-rolle med utvidet tilgang som normalt ikke brukes, logges grundig og utløser varsler ved bruk. Da fungerer trinnet «anta IR-rollen» faktisk når det trengs.

Tekniske handlinger er bare halve jobben. Runbooks bør angi hvem som skal varsles, hvordan og når – hendelsesleder, juridisk avdeling, ledelsen og eventuelt kunder.

Bygg kommunikasjonsplanen inn i runbooken, slik at varsler ikke glemmes under den hektiske begrensningen av hendelsen. Tydelige og tidsriktige oppdateringer bygger tillit og reduserer panikk.

Avslutt hver runbook med tydelige trinn for verifisering og en godkjenning. Etter begrensningen må De bekrefte at trusselen faktisk er borte, at ressursen er i en kjent god tilstand, og at hendelsen kan lukkes.

En dokumentert godkjenning hindrer at en halvferdig respons blir oppfattet som fullført, og verifiseringsnotatene inngår direkte i gjennomgangen etter hendelsen.

Runbooks gjør ekspertkunnskap om hendelseshåndtering om til repeterbare trinn i riktig rekkefølge som alle som har vakt, kan følge. Lag én for hver vanlig hendelse, og ta med utløser, handlinger, verifisering og kommunikasjon. Vis til nøyaktige AWS-verktøy og roller. Opprett IAM-tilgangen hver runbook trenger på forhånd, gjør de mekaniske trinnene mer modne ved å automatisere dem med SSM Automation eller Lambda, og hold alt i versjonskontroll og under regelmessig øving, slik at det aldri blir utdatert.