Skalowanie i automatyzacja skanowania

Reguła, która działa na laptopie, musi również niezawodnie działać na tysiącach punktów końcowych, w przepływach pocztowych i w źródłach próbek, bez poważnego pogorszenia wydajności. Skalowanie YARA to problem inżynieryjny obejmujący dystrybucję, wydajność i informację zwrotną.

Ta lekcja obejmuje dostrajanie wydajności, zarządzanie regułami, zautomatyzowane potoki oraz obsługę YARA jako stale działającego mechanizmu wykrywania, a nie jednorazowego narzędzia.

YARA buduje atom (krótki podciąg bajtów) dla każdego ciągu i najpierw wyszukuje atomy, a dopiero potem ocenia pełne warunki dla kandydatów. Reguły, które nie pozwalają silnikowi wykorzystać dobrych atomów, działają wolno.

• Ciągi krótsze niż około 4 bajty dają słabe atomy i są skanowane powoli
• Niezakotwiczone wyrażenia regex i nadmiar symboli wieloznacznych są kosztowne
• Zakotwiczenie za pomocą przesunięć i filesize wcześnie ogranicza zakres pracy

Przed wdrożeniem na dużą skalę należy profilować wolne reguły i przepisać te, które powodują problemy.

Typowe problemy z wydajnością i sposoby ich rozwiązania:

• Zastępuj krótkie lub złożone wyłącznie z symboli wieloznacznych ciągi dłuższymi i charakterystycznymi
• Poprzedzaj kosztowne reguły tanim warunkiem wstępnym (bajty magiczne, rozmiar pliku)
• Preferuj stałe bajty zamiast wyrażeń regex i silnie zakotwiczaj wyrażenia regex
• Używaj reguł global, aby całkowicie pomijać nieistotne typy plików

Pojedyncza źle zaprojektowana reguła może zdominować całkowity czas skanowania w całym środowisku, dlatego wydajność należy traktować jako kryterium przeglądu.

Analizowanie tekstu reguł podczas każdego skanowania powoduje niepotrzebne straty czasu. Należy raz skompilować reguły do binarnego bloku danych i ładować go wszędzie.

Skompilowane reguły szybko się ładują i gwarantują, że każdy punkt końcowy uruchamia dokładnie tę samą, zweryfikowaną logikę. Po każdej zmianie reguł należy ponownie je skompilować w ramach potoku i rozdystrybuować skompilowany artefakt.

Reguły YARA należy traktować jak kod, podobnie jak reguły Sigma. Należy przechowywać je w systemie kontroli wersji oraz poddawać przeglądom, testom i kontroli CI.

• Jedna reguła na plik, z organizacją według rodziny lub źródła
• CI sprawdza składnię, wydajność i testuje reguły na korpusach
• Lintery, takie jak yaraLint, wykrywają typowe błędy
• Należy nadawać regułom tagi i przestrzenie nazw, aby uniknąć kolizji nazw między źródłami

Zapobiega to chaosowi powodowanemu przez tysiące niezarządzanych, sprzecznych lub zduplikowanych reguł.

Większość przedsiębiorstw uruchamia YARA za pośrednictwem swojego EDR, który może wdrażać zestawy reguł na agentach oraz skanować dysk i pamięć na żądanie lub według harmonogramu. Eliminuje to konieczność wdrażania samodzielnego YARA na każdym hoście.

Jeśli EDR nie obsługuje YARA, platformy agentowe i narzędzia orkiestracji mogą rozprowadzać skompilowany zestaw reguł i centralnie zbierać wyniki. W obu przypadkach skanowanie jest centralnie kontrolowane, a nie wykonywane ręcznie na każdym hoście.

Ponieważ spakowane malware ujawnia się dopiero w pamięci, należy planować skanowanie pamięci w całej flocie, a nie ograniczać się do skanowania dysków. Agenty EDR mogą okresowo skanować pamięć procesów lub robić to w reakcji na podejrzane zdarzenie.

Skanowanie pamięci jest bardziej obciążające niż skanowanie dysków, dlatego należy wyważyć częstotliwość i zakres: na hostach o wysokiej wartości — skanowanie ciągłe, a w pozostałych miejscach — skanowanie wyzwalane zdarzeniami, aby kontrolować wpływ na wydajność.

Należy zautomatyzować działanie YARA w punktach, w których pliki trafiają do środowiska:

• Bramy pocztowe i internetowe skanują załączniki i pobierane pliki w trybie inline
• Sandboxy (CAPE, Cuckoo) uruchamiają YARA na artefaktach utworzonych i rozpakowanych podczas analizy
• Potoki pozyskiwania plików skanują przesyłane pliki przed zapisaniem
• CI dla repozytoriów malware automatycznie klasyfikuje nowe próbki

Każde dopasowanie trafia do SIEM/SOAR w celu korelacji i podjęcia działań.

Należy skalować działania zarówno na zewnątrz, jak i do wewnątrz. Warto przesyłać reguły o wysokiej wartości na platformy threat intelligence, aby wykonywać retrohunting na historycznych próbkach i ujawniać powiązane warianty oraz historię kampanii.

Wnioski należy włączać z powrotem do zestawu reguł: nowe warianty znalezione podczas retrohuntingu zwiększają precyzję reguły, która następnie wykrywa kolejną falę. Ta zamknięta pętla zmienia YARA w żywy, stale doskonalony mechanizm wykrywania.

Skanowanie, którego wynikiem jest tylko wpis w dzienniku, to zmarnowany wysiłek. Należy połączyć dopasowania z procesem reagowania.

• Generować ustrukturyzowane dane wyjściowe (nazwę reguły, plik, host, hashe) i przesyłać je do SIEM
• Uruchamiać playbooki SOAR: odizolować hosta, zebrać próbkę i wzbogacić ją o informacje wywiadowcze
• Automatycznie poddawać kwarantannie tylko w przypadku reguł o wysokiej pewności, które zostały dokładnie przetestowane
• Przekazywać dopasowania o niższej pewności analitykom do wstępnej analizy

Pewność reakcji należy powiązać z dojrzałością reguły, podobnie jak w przypadku dyscypliny najpierw alert, potem blokowanie, stosowanej przy regułach IPS.

Zestawem reguł należy zarządzać jak programem, wykorzystując następujące metryki:

• Współczynnik trafień i odsetek fałszywie pozytywnych wyników dla każdej reguły
• Przypisany do reguły koszt skanowania we flocie
• Pokrycie według rodziny malware i techniki ATT&CK

Należy wycofywać nieaktualne reguły, poprawiać te generujące zbyt dużo wyników i regularnie ponownie testować je na dobrym oprogramowaniu. Reguły tracą skuteczność wraz z ewolucją oprogramowania i malware, dlatego ich utrzymanie jest procesem ciągłym, a nie opcjonalnym.

Obsługa YARA na dużą skalę:

• Należy rozumieć działanie atomów; unikać krótkich ciągów, samych symboli wieloznacznych i niezakotwiczonych wyrażeń regularnych
• Zakotwiczać reguły za pomocą offsetów i rozmiaru pliku oraz uzależniać ich działanie od globalnych warunków wstępnych
• Kompilować reguły (yarac) i dystrybuować binarny blok danych
• Zarządzać regułami jak kodem: stosować kontrolę wersji, CI, lintowanie i przestrzenie nazw
• Skanować punkty końcowe za pomocą EDR; planować skanowanie pamięci, a nie tylko dysków
• Integrować YARA z bramami, sandboxami i potokami pozyskiwania; przesyłać wyniki do SIEM/SOAR
• Wykorzystywać retrohunting i włączać jego wyniki z powrotem do reguł
• Mierzyć współczynnik trafień, odsetek fałszywie pozytywnych wyników i koszt skanowania; stale utrzymywać reguły

Ukończono kurs YARA do wykrywania malware.