Запрос журналов S3 с помощью Athena

Amazon Athena — это бессерверный интерактивный сервис запросов, который выполняет стандартный SQL непосредственно над данными, хранящимися в Amazon S3. Вам не нужно создавать или обслуживать базу данных: укажите Athena на данные в S3, определите схему и выполняйте запросы. Поэтому сервис отлично подходит для анализа огромных журналов, создаваемых AWS.

Athena — бессерверный сервис, а плата взимается за каждый запрос в зависимости от объема просканированных данных. Когда запросы не выполняются, плата за простой отсутствует. Такая модель оплаты поощряет эффективные запросы и хорошо организованные данные: сканирование меньшего объема выполняется быстрее и обходится дешевле. Эта закономерность постоянно повторяется при работе с Athena.

Системы безопасности создают огромные объемы журналов: CloudTrail, журналы потоков VPC, журналы доступа ALB и другие, которые сохраняются в S3. Athena позволяет исследовать их с помощью привычного SQL вместо создания конвейера обработки данных. Во время инцидента вы можете за считанные минуты искать сведения за несколько месяцев среди миллиардов записей — именно это требуется при расследованиях.

Athena использует подход «схема при чтении»: вы определяете схему TABLE, описывающую интерпретацию файлов в S3, а схема применяется во время выполнения запроса, а не при сохранении данных. Исходные журналы никогда не изменяются. Поэтому поверх одних и тех же нетронутых журналов можно в любой момент создавать новые таблицы и представления.

Athena считывает определения таблиц из AWS Glue Data Catalog — централизованного хранилища метаданных. Таблица сопоставляет местоположение в S3 и формат данных со столбцами и их типами. После добавления в каталог таблица становится доступной Athena и другим аналитическим сервисам, обеспечивая единое общее описание ваших журнальных данных.

Athena выполняет запросы к данным во многих форматах: JSON, CSV, Apache Parquet, ORC и Avro. Журналы CloudTrail представлены в формате JSON, а журналы потоков — в виде текста с разделением пробелами. Столбцовые форматы, такие как Parquet, намного эффективнее: Athena считывает только нужные запросу столбцы, сканируя меньше данных и снижая стоимость.

Вы выполняете запросы в консоли Athena, через API или CLI, а результаты записываются в местоположение результатов запроса в S3. Простой запрос для расследования может подсчитать неудачные входы в консоль по пользователям. Athena возвращает результаты за секунды или минуты в зависимости от объема данных, и инфраструктуру не нужно обслуживать.

Доступ к Athena регулируется политиками IAM, и запросы могут читать только те данные S3, к которым вызывающая сторона имеет разрешение. Также следует шифровать местоположение результатов запросов, поскольку результаты могут содержать конфиденциальные сведения из журналов. Рабочие группы позволяют разделять команды, принудительно включать шифрование результатов и устанавливать ограничения на объем данных, сканируемых одним запросом.

Помимо S3, федеративные запросы Athena могут обращаться к другим источникам данных, например DynamoDB или RDS, через соединители. Хотя анализ журналов безопасности обычно выполняется для данных в S3, федерация позволяет объединять журнальные данные со справочной информацией, например с инвентаризацией ресурсов, чтобы дополнить расследование, не перенося предварительно все данные в S3.

Рабочие группы изолируют запросы, результаты и настройки разных команд. Рабочая группа может принудительно задать зашифрованное местоположение результатов, указать отдельную корзину для результатов запросов и ограничить количество байт, которое может просканировать один запрос. Это одновременно сдерживает расходы и отделяет конфиденциальные результаты расследований одной команды от результатов другой.

Используйте Athena, когда нужно выполнять специальный анализ больших объемов исторических журналов, особенно CloudTrail и журналов потоков в S3. Для оповещений в реальном времени по-прежнему применяйте CloudWatch и GuardDuty; Athena — это инструмент глубокого анализа и подготовки отчетов по огромным наборам данных уже после события.

Проверьте свои базовые знания об Athena.

Amazon Athena выполняет SQL непосредственно над данными S3, работает бессерверно, а стоимость зависит от объема просканированных данных. Сервис использует схему при чтении с определениями таблиц в Glue Data Catalog и поддерживает такие форматы, как JSON, а также эффективный Parquet. Защищайте его с помощью IAM, зашифрованных местоположений результатов и рабочих групп. Это основной инструмент для глубокого анализа CloudTrail и журналов потоков после произошедших событий.