Основы Log Analytics и KQL

Рабочая область Log Analytics — это централизованное хранилище данных журналов и телеметрии в Azure Monitor. Когда Вы настраиваете параметры диагностики для ресурса Azure, структурированные журналы и метрики поступают в рабочую область. Затем Вы можете запрашивать эти данные с помощью языка запросов Kusto (KQL). Рабочая область имеет собственную политику хранения данных (по умолчанию 30 дней, максимум 730 дней) и средства управления доступом.

Каждый ресурс Azure может создавать журналы диагностики — подробные записи таких операций, как вызовы API, события аутентификации и выполнение запросов. Вы включаете их через параметры диагностики ресурса, указывая в качестве назначения рабочую область Log Analytics. Распространённые категории журналов включают AuditEvent для Key Vault, AppServiceHTTPLogs для App Service и NetworkSecurityGroupFlowEvent для NSG.

Язык запросов Kusto (KQL) — это язык запросов только для чтения, предназначенный для анализа данных журналов. Запрос KQL читается слева направо как конвейер: сначала указывается имя таблицы, затем данные передаются через операторы с помощью символа (|). Распространённые операторы включают where для фильтрации, project для выбора столбцов, summarize для агрегации и order by для сортировки. KQL чувствителен к регистру имён столбцов, но не ключевых слов.

Оператор where фильтрует строки с помощью логических выражений. Вы можете объединять условия с помощью and, or и not. Оператор has выполняет поиск слов в строках без учёта регистра с соблюдением границ слов, а contains выполняет поиск подстроки. Оператор in проверяет принадлежность к списку. Используйте ago(), чтобы задавать относительные диапазоны времени, например ago(1h) или ago(7d).

Оператор summarize вычисляет агрегаты по строкам. Распространённые функции агрегации включают count(), sum(), avg(), max(), min() и dcount() для подсчёта уникальных значений. Вы можете группировать данные по одному или нескольким столбцам с помощью предложения by. Функция bin() округляет временные метки до интервалов для агрегации временных рядов.

KQL поддерживает join для сопоставления данных из нескольких таблиц. По умолчанию используется тип объединения innerunique, но можно указать inner, leftouter, rightouter или fullouter. Распространённый шаблон — объединение AzureActivity и AzureMetrics для сопоставления административных изменений со снижением производительности. Оператор lookup — более лёгкая альтернатива для дополнения строк данными из небольшой справочной таблицы.

После написания запроса на портале Log Analytics Вы можете представить результаты в виде временной диаграммы, столбчатой диаграммы, круговой диаграммы или таблицы с помощью оператора render. Вы также можете закрепить результат любого запроса на панели мониторинга Azure или сохранить его как книгу. Команда render timechart преобразует запрос summarize временного ряда в интерактивную линейную диаграмму для анализа тенденций.

Оповещения о поиске в журналах выполняют запрос KQL по расписанию и срабатывают, когда результат соответствует условию, например когда количество результатов больше нуля или числовой столбец превышает порог. Они гибче оповещений по метрикам, поскольку позволяют запрашивать любые данные журналов из нескольких таблиц. Частоту проверки и временное окно можно настраивать независимо — например, выполнять проверку каждые 5 минут за последние 15 минут.

Azure Monitor хранит журналы в хорошо известных таблицах. AzureActivity содержит записи об операциях на уровне подписки. SecurityEvent содержит журналы безопасности Windows с виртуальных машин, на которых установлен агент Log Analytics. Heartbeat показывает подключение агента (одна строка в минуту для каждой подключённой виртуальной машины). AppRequests, AppExceptions и AppDependencies поступают из Application Insights. Знание имён этих таблиц необходимо для написания эффективных операционных запросов.

Цены Log Analytics состоят из двух компонентов: приём данных (за каждый принятый GB) и хранение данных (первые 30 дней бесплатны, после этого взимается плата за каждый GB в месяц сверх периода по умолчанию). Вы можете сократить затраты, фильтруя зашумленные категории журналов до их приёма, используя Basic Logs для больших объёмов малозначимых данных по сниженной цене и архивируя старые данные в Azure Data Explorer или холодное хранилище для длительного хранения в целях соблюдения требований.

Рабочие области Log Analytics поддерживают две модели управления доступом. В режиме контекста рабочей области пользователь с доступом на чтение к рабочей области может выполнять запросы ко всем таблицам. В режиме контекста ресурса пользователь может запрашивать только журналы, созданные ресурсами, которые ему разрешено читать с помощью RBAC, — даже без явного доступа к рабочей области. Режим контекста ресурса рекомендуется для крупных организаций, где разные команды отвечают за разные ресурсы.

Проверьте своё понимание концепций Microsoft Azure Fundamentals (AZ-900) из этого урока.

В этом уроке Вы узнали, что рабочие области Log Analytics централизуют данные журналов диагностики из ресурсов Azure, операторы KQL, такие как where, summarize и render, позволяют фильтровать, агрегировать и визуализировать журналы, а оповещения о поиске в журналах запускают автоматические действия, когда результат запроса KQL соответствует заданному условию. Далее мы рассмотрим Application Insights для телеметрии на уровне приложения.