Создание таблиц на основе данных CloudTrail

Athena не может выполнять запросы к необработанным файлам S3, пока вы не укажете, как их читать. Таблица сопоставляет JSON-файлы CloudTrail в вашей корзине S3 с именованными столбцами и их типами. После создания таблицы богатая структура событий CloudTrail становится доступной для обычного SQL.

CloudTrail передает события в формате JSON; каждая запись описывает один вызов API и содержит вложенные поля, такие как userIdentity, eventName, sourceIPAddress и requestParameters. Схема таблицы должна отражать эту вложенность, включая типы struct для объектов, чтобы запросы могли обращаться к таким полям, как userIdentity.arn.

Вам не нужно писать схему вручную. AWS публикует стандартную инструкцию CREATE TABLE для CloudTrail, а консоль CloudTrail и Athena могут создать ее за вас. Использование предоставленного DDL гарантирует правильное сопоставление каждого поля, включая глубоко вложенные поля, поэтому запросы не пропустят данные.

SerDe (сериализатор/десериализатор) сообщает Athena, как разбирать каждый файл. Таблицы CloudTrail используют SerDe, разработанный для структуры JSON CloudTrail: он понимает массив записей и вложенные структуры. Очень важно выбрать правильный SerDe: неправильный вариант приводит к ошибкам разбора или столбцам со значениями NULL.

Предложение LOCATION таблицы указывает на префикс S3, где CloudTrail хранит журналы, обычно это путь с ID учётной записи и регионом. Важно правильно указать этот префикс: слишком широкий заставит сканировать ненужные данные, а слишком узкий приведёт к пропуску событий, которые Вы хотели запросить.

После создания таблицы Вы можете обращаться к вложенным полям с помощью точечной нотации, например userIdentity.arn или requestParameters.bucketName. Функции SQL помогают распаковывать массивы и строки JSON. Здесь особенно заметны преимущества Athena для расследований: Вы можете точно фильтровать события по имени события, субъекту и параметрам любого вызова API.

Вместо ручного DDL сканер AWS Glue может просканировать данные в S3 и автоматически вывести схему в Каталог данных. Для хорошо известных форматов, таких как CloudTrail, предоставленный DDL обычно получается более аккуратным, но сканеры полезны для пользовательских или изменяющихся форматов журналов, когда Вам не хочется описывать схему вручную.

В JSON CloudTrail есть поля, которые сами являются строками JSON, например requestParameters, когда значения зависят от сервиса. Часто Вы разбираете их во время выполнения запроса с помощью функций JSON. Если понимать, что некоторые столбцы являются строками для разбора, а не заранее структурированными столбцами, будет проще избежать путаницы, когда поле ведёт себя не как обычный столбец.

Для трека организации журналы всех учётных записей попадают в одно хранилище с префиксами для отдельных учётных записей. Вы можете создать одну таблицу для всего префикса и одновременно запрашивать все учётные записи либо создать отдельные таблицы для изоляции. Единая таблица особенно полезна для поиска угроз во всей организации одним запросом.

После создания таблицы выполните быстрый запрос SELECT с небольшим значением LIMIT, чтобы убедиться, что строки возвращаются, а столбцы заполняются ожидаемым образом. Если столбцы содержат значения NULL, вероятно, неправильно указаны SerDe, расположение или схема. Такая проверка здравого смысла избавит Вас от построения расследований на незаметно неисправной таблице.

Когда таблица CloudTrail настроена правильно, у Вас появляется доступный для запросов журнал аудита за всю записанную историю. Каждый вход через консоль, вызов API и ошибка теперь представлены строкой, по которой можно фильтровать и выполнять агрегирование. Эта таблица станет основой для запросов расследования, которые Вы напишете далее.

Проверьте свои знания о создании таблиц.

Чтобы запрашивать CloudTrail в Athena, создайте таблицу, сопоставляющую файлы JSON со столбцами, используя предоставленный AWS DDL для CREATE TABLE, правильный SerDe и нужное расположение S3 в LOCATION. Запрашивайте вложенные поля с помощью точечной нотации, разбирайте столбцы со строками JSON во время выполнения запроса и проверяйте результат с небольшим запросом SELECT. Для трека организации можно использовать одну таблицу для поиска угроз во всей организации.