Cyber Security Academy · Урок

Архитектура SIEM и сбор журналов

Настройте конвейер стека Splunk или ELK для сбора и индексации журналов из нескольких источников.

«Архитектура SIEM и сбор журналов» — бесплатный урок Cyber Security Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Cyber Security Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Cyber Security Academy содержит 4 уроков всего.

Что такое SIEM

Система SIEM (управления информацией и событиями безопасности) собирает, нормализует и сопоставляет данные журналов из всей среды, а также формирует оповещения. Она предоставляет единое окно для работы службы безопасности.

Основные функции SIEM

Ключевые функции: сбор и нормализация журналов, сопоставление данных и формирование оповещений в реальном времени, поиск и расследование исторических событий, подготовка отчётов о соответствии требованиям и рабочий процесс реагирования на инциденты.

# SIEM capabilities:
# Collection: agents, syslog, API pulls
# Normalization: common event schema
# Correlation: rule-based and ML-based
# Alerting: threshold, pattern, anomaly
# Dashboards: SOC analyst views
# Reporting: compliance evidence

Архитектура стека ELK

Стек ELK: Elasticsearch (поиск и хранение), Logstash (получение и разбор), Kibana (визуализация и запросы). Filebeat и Winlogbeat — лёгкие средства пересылки, которые отправляют журналы в Logstash или напрямую в Elasticsearch.

# ELK data flow:
# Log Source → Filebeat/Winlogbeat
#    → Logstash (parse, enrich, filter)
#    → Elasticsearch (index/store)
#    → Kibana (search/visualize/alert)

# Direct flow (simpler):
# Log Source → Filebeat → Elasticsearch → Kibana

Настройка Filebeat

Filebeat — лёгкое средство пересылки журналов. Настройте входные источники (какие файлы журналов читать) и выходной адрес (конечная точка Logstash или Elasticsearch). Включите отдельные модули для распространённых форматов журналов.

# filebeat.yml excerpt:
filebeat.inputs:
- type: log
  paths:
    - /var/log/auth.log
    - /var/log/apache2/access.log

output.elasticsearch:
  hosts: ["elasticsearch:9200"]
  index: "filebeat-%{+yyyy.MM.dd}"

# Enable Apache module:
filebeat modules enable apache

Winlogbeat для Windows

Winlogbeat отправляет журналы событий Windows в Elasticsearch. Настройте каналы событий для сбора: Security, System, Application, Sysmon и PowerShell Operational.

# winlogbeat.yml
winlogbeat.event_logs:
  - name: Security
    event_id: 4624, 4625, 4648, 4672, 4769
  - name: Microsoft-Windows-Sysmon/Operational
  - name: Microsoft-Windows-PowerShell/Operational

output.elasticsearch:
  hosts: ["elasticsearch:9200"]

Разбор журналов Logstash с помощью Grok

Logstash использует шаблоны Grok для разбора неструктурированных строк журналов на структурированные поля. Для большинства распространённых форматов журналов существуют готовые шаблоны (Apache, системные журналы, Nginx).

# Logstash pipeline for Apache logs:
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
  geoip {
    source => "clientip"
  }
}

Получение журналов в Splunk

Splunk получает журналы через универсальный пересылатель (агент), HEC (сборщик событий по HTTP для API) или системный журнал. Splunk автоматически извлекает поля из известных форматов и использует props.conf/transforms.conf для пользовательского разбора.

# Splunk Universal Forwarder config
# inputs.conf:
[monitor:///var/log/auth.log]
index = linux_security
sourcetype = linux_secure

# HEC (HTTP Event Collector)
curl -k "https://splunk:8088/services/collector/event" \
  -H "Authorization: Splunk YOUR_TOKEN" \
  -d '{"event": "Hello Splunk"}'

Sysmon для расширенного журналирования Windows

Sysmon (системный монитор) расширяет журналирование Windows следующими событиями: создание процессов (событие 1), сетевые подключения (событие 3), создание файлов (событие 11) и изменения реестра (событие 13). Это необходимо для разработки средств обнаружения.

# Install Sysmon with config
sysmon64 -accepteula -i sysmonconfig.xml

# Key Sysmon event IDs:
# 1:  Process Create
# 3:  Network connection
# 7:  Image loaded (DLL)
# 11: File created
# 13: Registry set value
# 22: DNS query

Управление индексами и хранением

Спланируйте жизненный цикл индексов: горячий уровень (быстрый SSD, последние 7 дней), тёплый (более медленное хранилище, 30 дней), холодный (архив, 90–365 дней). Сбалансируйте скорость выполнения запросов и стоимость хранения с учётом требований к соблюдению нормативов.

Планирование объёма данных

Оцените объём журналов: обычная конечная точка создаёт 1–5 GB событий в день, а загруженный веб-сервер — 10–50 GB в день. Подберите размер кластера Elasticsearch и задайте политики хранения до запуска системы.

Быстрая проверка

Что записывает Sysmon в событии с ID 1?

Итог: архитектура SIEM

SIEM собирает журналы и сопоставляет их в больших масштабах. Стек ELK предоставляет вариант с открытым исходным кодом: Filebeat/Winlogbeat отправляют журналы, Logstash разбирает их, Elasticsearch индексирует, а Kibana визуализирует и ищет данные. Добавьте Sysmon для подробного наблюдения за конечными точками Windows. Спланируйте объёмы данных и сроки хранения до развёртывания: изменение размера системы задним числом даётся очень трудно.

Часто задаваемые вопросы

Урок «Архитектура SIEM и сбор журналов» бесплатный?

Да — полный текст урока «Архитектура SIEM и сбор журналов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Cyber Security Academy, подпишись на CoddyKit PRO. Курс Cyber Security Academy содержит 4 уроков всего.

Чему я научусь в уроке «Архитектура SIEM и сбор журналов»?

Настройте конвейер стека Splunk или ELK для сбора и индексации журналов из нескольких источников. Ты практикуешь Cyber Security Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Cyber Security Academy?

Предыдущий опыт не требуется. Cyber Security Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «Архитектура SIEM и сбор журналов»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Cyber Security Academy?

Да. Каждый урок Cyber Security Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

Источники журналов: ОС, сеть и приложения
Архитектура SIEM и сбор журналов
Написание правил обнаружения и корреляция
Сортировка оповещений и рабочий процесс SOC

← Назад к Cyber Security Academy