Секционирование журналов для ускорения и снижения стоимости

Поскольку Athena взимает плату за сканируемые данные, запрос к журналам за год ради поиска событий одного дня приводит к лишним расходам времени и средств. Секционирование позволяет Athena читать только нужную часть данных, делая запросы значительно быстрее и дешевле. Это самая важная оптимизация Athena.

Секция разделяет данные таблицы по значениям одного или нескольких столбцов, обычно по компонентам даты, сопоставленным с префиксами S3. Журналы CloudTrail уже организованы по пути region/year/month/day, поэтому секционирование по этим значениям соответствует физической структуре и позволяет Athena пропускать папки, не попадающие в запрос.

Когда запрос фильтрует данные по столбцу секционирования, Athena выполняет отсечение секций: читает только соответствующие префиксы и игнорирует остальные. Запрос за один день при правильном секционировании сканирует лишь малую долю хранилища. Без отсечения тот же запрос просканировал бы всё, включая данные, которые ему заведомо не нужны.

Один из способов зарегистрировать секции — ALTER TABLE ADD PARTITION, сопоставив значение секции с её расположением в S3. Это работает, но неудобно для ежедневных данных журналов, поскольку секцию пришлось бы добавлять каждый день. Такой подход подходит для разовой загрузки исторических данных, но не масштабируется для постоянно поступающих журналов.

Проекция секций — современный рекомендуемый подход: Вы сообщаете Athena шаблон секций, например диапазон дат, а она вычисляет префиксы во время выполнения запроса, не сохраняя каждую секцию в каталоге. Для постоянно растущих данных CloudTrail и журналов потоков это избавляет от постоянного обслуживания и обеспечивает автоматическое отсечение.

Сканер Glue также может по расписанию обнаруживать новые секции и добавлять их в каталог. Это автоматизирует управление секциями для изменяющихся данных, однако для предсказуемой структуры на основе дат проекция секций обычно проще и не требует оплаты сканера.

Секционирование ограничивает набор читаемых файлов, а колонночные форматы, такие как Parquet, ограничивают набор читаемых столбцов внутри этих файлов. Сочетание обоих подходов — преобразование журналов в Parquet и секционирование по датам — может сократить объём сканируемых данных на порядки. Многие команды запускают задание преобразования, чтобы хранить оптимизированные для запросов копии журналов большого объёма.

Сжатие данных журналов с помощью форматов GZIP или Snappy ещё сильнее уменьшает объём сканируемых байтов и стоимость хранения. Athena прозрачно читает сжатые файлы. Вместе с секционированием и колонночным хранением сжатие завершает тройку методов, делающих анализ журналов в большом масштабе доступным по стоимости.

Для журналов безопасности в первую очередь выполняйте секционирование по дате, поскольку расследования ограничены по времени, а для треков организации рассмотрите секционирование по учётной записи или региону, чтобы быстро выбирать одну учётную запись. Правильные ключи секционирования соответствуют тому, как именно Ваши расследования фильтруют данные, и максимально повышают эффективность отсечения в реальных запросах.

Athena сообщает объём сканируемых данных для каждого запроса. Контроль этого показателя помогает понять, работает ли секционирование: хорошо секционированный запрос с ограничением по времени должен сканировать мегабайты, а не терабайты. Если запрос сканирует намного больше ожидаемого, вероятно, Ваш фильтр не соответствует столбцам секционирования.

Стек оптимизации состоит из трёх уровней: секционирование пропускает ненужные данные, колонночный формат позволяет читать только нужные столбцы, а сжатие уменьшает объём байтов. При применении к CloudTrail и журналам потоков эти методы превращают медленные и дорогие операции сканирования в быстрые и недорогие расследования — именно то, что требуется для анализа безопасности в большом масштабе.

Секционирование разделяет данные таблицы по столбцам, обычно по дате, чтобы Athena выполняла отсечение секций и сканировала только нужные префиксы, сокращая расходы и время. Для растущих журналов отдавайте предпочтение проекции секций, а не ручному ADD PARTITION или сканерам. Сочетайте секции с колонночным форматом Parquet и сжатием для значительной экономии, секционируйте журналы безопасности по дате и учётной записи и отслеживайте показатель сканируемых данных.