Классы хранилищ и политики жизненного цикла

Не ко всем данным обращаются с одинаковой частотой. Видеофайл, загруженный сегодня, может быть просмотрен тысячи раз в течение первой недели, а затем почти не использоваться после месяца. Классы хранения S3 позволяют сопоставить стоимость хранения с характером доступа: часто используемые данные хранятся в более дорогом классе, оптимизированном для быстрой Retrieval, а архивные данные — в очень дешёвых классах с большей задержкой Retrieval. На экзамене SAA-C03 регулярно встречаются задания на выбор подходящего класса для описанного характера доступа.

S3 Standard — это универсальный класс хранения по умолчанию: SLA доступности 99,99%, надёжность 11 девяток, отсутствие минимального срока хранения и платы за Retrieval. Данные хранятся как минимум в трёх AZ. Используйте Standard для часто используемых данных: веб-ресурсов, активных наборов данных и часто загружаемого содержимого. У Standard самая высокая стоимость хранения за GB, но нет платы за Retrieval, поэтому этот класс идеально подходит, если характер доступа неизвестен или данные используются несколько раз в месяц.

S3 Intelligent-Tiering автоматически перемещает объекты между уровнями доступа в зависимости от изменения характера доступа, не влияя на производительность и не взимая плату за Retrieval. Он включает до четырёх уровней: Frequent Access (та же производительность, что и у Standard), Infrequent Access (объекты, к которым не обращались 30 дней, автоматически перемещаются сюда; экономия составляет около 40%), Archive Instant Access (90 дней без доступа; ещё около 50% экономии) и необязательный Deep Archive Access (180 дней). За каждый объект взимается небольшая ежемесячная плата за мониторинг и автоматизацию. Этот класс лучше всего подходит для данных с неизвестным или меняющимся характером доступа.

S3 Standard-Infrequent Access (Standard-IA) предназначен для данных, к которым обращаются реже одного раза в месяц: стоимость хранения ниже, чем у Standard, но взимается плата за Retrieval каждого GB и хранение минимум в течение 30 дней. Данные хранятся в нескольких AZ, обеспечивая ту же надёжность в 11 девяток. S3 One Zone-IA хранит данные только в одной AZ — это примерно на 20% дешевле, чем Standard-IA, но при отказе AZ данные будут потеряны. Используйте One Zone-IA только для данных, которые можно восстановить заново, или данных, уже реплицированных в другом месте (например, миниатюр, созданных из оригиналов, хранящихся в Standard).

S3 Glacier Instant Retrieval предназначен для архивных данных, к которым обращаются редко (раз в квартал), но которые при обращении необходимо получать за миллисекунды. Стоимость хранения значительно ниже, чем у Standard-IA, однако плата за Retrieval выше. Минимальный срок хранения составляет 90 дней. Главное отличие от других классов Glacier — мгновенный доступ: данные извлекаются за миллисекунды, как в Standard, поэтому этот класс идеально подходит для архивов медицинских изображений или медиаресурсов, которые редко нужны, но должны быть немедленно доступны.

S3 Glacier Flexible Retrieval (ранее S3 Glacier) предлагает три уровня скорости Retrieval для архивных данных: Expedited (1–5 минут, более высокая стоимость), Standard (3–5 часов, умеренная стоимость) и Bulk (5–12 часов, минимальная стоимость). Минимальный срок хранения составляет 90 дней. Этот класс лучше всего подходит для резервных архивов, редко извлекаемых данных для соблюдения нормативных требований и цифрового хранения, когда задержка Retrieval в несколько часов приемлема. На экзамене его часто предлагают как решение, если в условии упоминаются «архивы, к которым обращаются несколько раз в год».

S3 Glacier Deep Archive — самый дешёвый класс хранения S3, его стоимость составляет примерно 1 $/TB в месяц. Он предназначен для данных, которые хранятся 7–10 лет и к которым обращаются один или два раза в год. Время Retrieval составляет 12 часов для уровня Standard и 48 часов для уровня Bulk. Минимальный срок хранения — 180 дней. Варианты использования: архивы для соблюдения нормативных требований (HIPAA, SEC Rule 17a-4), архивирование цифровых медиа, геномные данные и долгосрочные исследовательские данные. Deep Archive дешевле локального хранения на магнитной ленте, при этом полностью управляется AWS и доступен удалённо.

Политики жизненного цикла S3 автоматизируют перемещение объектов между классами хранения и удаление объектов на основе заданных Вами правил. Политика жизненного цикла представляет собой документ JSON, прикреплённый к бакету; её правила указывают: фильтр (по префиксу, тегу или размеру объекта), действие перемещения (переместить объект в более дешёвый класс через N дней) и/или действие удаления (удалить через M дней). Правила жизненного цикла устраняют необходимость в пользовательских скриптах для управления уровнями хранения и удалением объектов в больших масштабах.

Типичный жизненный цикл распределения уровней для файлов журналов: первые 30 дней объекты хранятся в S3 Standard (часто используются для отладки), затем автоматически перемещаются в Standard-IA на дни 31–90 (запрашиваются время от времени), затем — в Glacier Flexible Retrieval на дни 91–365 (удержание для соблюдения нормативных требований) и наконец удаляются через 365 дней (политика хранения выполнена). Это единственное правило жизненного цикла заменяет сложное задание cron и работает в любом масштабе без дополнительных административных затрат.

Анализ классов хранения S3 отслеживает характер доступа к данным в бакете и формирует рекомендации о том, когда перемещать объекты в Standard-IA. После 30 дней наблюдения он создаёт отчёт, который можно просмотреть в консоли или экспортировать в файл CSV в S3; в отчёте показана частота чтения в зависимости от возраста объекта. Используйте эти отчёты для настройки порогов перемещения в политике жизненного цикла перед их установкой. Анализ классов хранения интегрируется с S3 Intelligent-Tiering: результаты анализа можно использовать для настройки точной политики жизненного цикла или просто перейти на Intelligent-Tiering.

Краткое руководство по выбору класса хранения: Standard → активные, часто используемые данные; Intelligent-Tiering → неизвестный или изменчивый характер доступа; Standard-IA → нечастый доступ (ежемесячно), несколько AZ; One Zone-IA → нечастый доступ, данные, которые можно восстановить заново, одна AZ; Glacier Instant Retrieval → редкий доступ (ежеквартально), Retrieval за миллисекунды; Glacier Flexible Retrieval → редкий доступ, Retrieval за несколько часов допустим; Glacier Deep Archive → хранение в течение 7–10 лет, Retrieval за 12–48 часов. За минимальные сроки хранения (30, 30, 90, 90, 180 дней) взимается плата при досрочном удалении.

Проверьте своё понимание концепций AWS Solutions Architect (SAA-C03) из этого урока.

В этом уроке Вы узнали, что классы хранения S3 охватывают диапазон от Standard (частый доступ, самая высокая стоимость) до Glacier Deep Archive (нечастый доступ, самая низкая стоимость), и у каждого класса есть определённые сроки Retrieval и минимальные сроки хранения, S3 Intelligent-Tiering автоматизирует распределение по уровням при неизвестном характере доступа, а политики жизненного цикла автоматизируют перемещение между классами и удаление объектов на основе их возраста или тегов. Далее мы рассмотрим архитектуру VPC и блоки CIDR.