Масштабирование и автоматизация сканирования

Правило rule, работающее на вашем ноутбуке, должно также стабильно выполняться на тысячах конечных устройств, в почтовых потоках и каналах поступления образцов, не парализуя производительность. Масштабирование YARA — это инженерная задача, связанная с распределением, производительностью и обратной связью.

В этом уроке рассматриваются настройка производительности, управление правилами, автоматизированные конвейеры и эксплуатация YARA как постоянной возможности обнаружения, а не как разового инструмента.

YARA создаёт атом — короткую подстроку байтов — для каждой строки и сначала ищет атомы, проверяя полные условия только для найденных кандидатов. Правила, в которых движку трудно выделить хорошие атомы, работают медленно.

• Строки короче примерно 4 байт дают слабые атомы и медленно сканируются
• Непривязанные регулярные выражения и чрезмерное количество подстановок требуют много ресурсов
• Привязка по смещениям и filesize позволяет заранее сократить объём работы

Профилируйте медленные правила и переписывайте проблемные до развёртывания в большом масштабе.

Распространённые проблемы производительности и способы их устранения:

• Заменяйте короткие строки и строки, состоящие только из подстановок, более длинными и отличительными строками
• Ограничивайте затратные правила дешёвым предварительным условием, например сигнатурными байтами или размером файла
• Предпочитайте фиксированные байты регулярным выражениям и жёстко ограничивайте регулярные выражения привязками
• Используйте правила global, чтобы полностью пропускать нерелевантные типы файлов

Одно неудачное правило может определять общее время сканирования всей инфраструктуры, поэтому рассматривайте производительность как критерий проверки.

Разбор текста rule при каждом сканировании приводит к потере времени. Скомпилируйте правила один раз в двоичный блок и загружайте его повсюду.

Скомпилированные правила быстро загружаются и гарантируют, что на каждом конечном устройстве выполняется абсолютно одинаковая проверенная логика. Повторно компилируйте их в рамках конвейера при каждом изменении правил и распространяйте скомпилированный артефакт.

Относитесь к правилам YARA как к коду, подобно Sigma. Храните их в системе контроля версий с проверкой, тестированием и непрерывной интеграцией.

• Одно правило rule на файл, с организацией по семейству или источнику
• Непрерывная интеграция проверяет синтаксис, производительность и результаты на выборках
• Линтеры вроде yaraLint выявляют распространённые ошибки
• Добавляйте к правилам теги и пространства имён, чтобы избежать конфликтов имён между каналами поступления

Это предотвращает хаос, вызванный тысячами неуправляемых, конфликтующих или дублирующихся правил.

Большинство крупных организаций запускает YARA через свой EDR, который может отправлять наборы правил агентам и по запросу или расписанию сканировать диск и память. Это избавляет от необходимости устанавливать отдельную YARA на каждый узел.

Если EDR не поддерживает YARA, инфраструктуры агентов и инструменты оркестрации могут распространять скомпилированный набор правил и централизованно собирать результаты. В любом случае сканирование управляется централизованно, а не выполняется вручную на каждом узле.

Поскольку упакованные вредоносные программы обнаруживают себя только в памяти, планируйте сканирование памяти по всему the парку, а не только сканирование дисков. Агенты EDR могут периодически сканировать память процессов или делать это в ответ на подозрительное событие.

Сканирование памяти требует больше ресурсов, чем сканирование диска, поэтому сбалансируйте частоту и охват: непрерывно на узлах с высокой ценностью, по событию — в остальных случаях, чтобы контролировать влияние на производительность.

Автоматически запускайте YARA в точках, где файлы попадают в вашу среду:

• Почтовые и веб-шлюзы сканируют вложения и загрузки непосредственно при передаче
• Песочницы (CAPE, Кукушка) запускают YARA для сброшенных и распакованных артефактов
• Конвейеры загрузки файлов сканируют загружаемые файлы до сохранения
• Непрерывная интеграция для репозиториев вредоносных программ автоматически классифицирует новые образцы

Каждое совпадение передается в the SIEM/SOAR для корреляции и реагирования.

Масштабируйте анализ как наружу, так и внутрь. Передавайте ценные правила на платформы анализа киберугроз для ретрохантинга по историческим образцам, выявляя связанные варианты и историю кампаний.

Возвращайте полученные сведения в the набор правил: новые варианты, обнаруженные во время ретрохантинга, уточняют the правило, которое затем обнаруживает the следующую волну. Этот замкнутый цикл превращает YARA в постоянно развивающийся и улучшающийся механизм обнаружения.

Сканирование, результатом которого становится лишь строка журнала, не приносит пользы. Подключайте совпадения к процессу реагирования.

• Передавайте в структурированном виде (название правила, файл, узел, хеши) в the SIEM
• Запускайте сценарии SOAR: изолируйте узел, собирайте образец, дополняйте его данными о киберугрозах
• Автоматически помещайте в карантин только результаты правил с высокой достоверностью, прошедших тщательное тестирование
• Передавайте результаты с меньшей достоверностью аналитикам для первичного анализа

Связывайте достоверность реагирования со зрелостью правила, следуя принципу «сначала оповещение, затем блокировка», используемому для правил IPS.

Управляйте набором правил как программой с использованием метрик:

• Доля срабатываний и доля ложных срабатываний для каждого правила
• Стоимость сканирования каждого правила по всему парку
• Охват по семействам и методам ATT&CK

Выводите из эксплуатации устаревшие правила, исправляйте правила с чрезмерным количеством срабатываний и регулярно повторно тестируйте их на безопасном ПО. Правила устаревают по мере развития программного обеспечения и вредоносных программ, поэтому сопровождение должно быть непрерывным, а не необязательным.

Примените рассуждения о масштабировании к развертыванию.

Эксплуатация YARA в масштабе:

• Понимайте атомы; избегайте коротких строк, шаблонов, состоящих только из подстановочных символов, и незаякоренных регулярных выражений
• Используйте смещения и размер файла для якорения, а также проверяйте глобальные предварительные условия перед запуском
• Компилируйте правила с помощью yarac и распространяйте двоичный блок
• Управляйте правилами как кодом: контроль версий, непрерывная интеграция, проверка качества и пространства имен
• Сканируйте конечные точки через EDR; планируйте сканирование памяти, а не только дисков
• Интегрируйте YARA в шлюзы, песочницы и конвейеры загрузки; передавайте результаты в SIEM/SOAR
• Используйте ретрохантинг и возвращайте результаты в правила
• Измеряйте долю срабатываний, долю ложных срабатываний и стоимость сканирования; непрерывно сопровождайте правила

Вы завершили курс «YARA для обнаружения вредоносных программ».