Хранилище EC2: локальное хранилище экземпляра и EBS

Экземпляры EC2 могут использовать два типа локального хранилища: Instance Store и Amazon EBS (Elastic Block Store). Instance Store физически подключён к серверу-хосту и обеспечивает очень высокие IOPS и пропускную способность, но имеет важное ограничение: данные теряются при остановке или завершении работы экземпляра. EBS предоставляет постоянное блочное хранилище, подключённое по сети, которое сохраняется после остановки, запуска и завершения работы экземпляра. Понимание того, когда использовать каждый вариант, — частая тема экзамена SAA-C03.

Instance Store (также называемое временным хранилищем) состоит из твердотельных накопителей NVMe, физически подключённых к оборудованию хоста, на котором работает Ваш экземпляр EC2. Данные в Instance Store теряются при остановке, переходе в спящий режим или завершении работы экземпляра, а также при отказе базового оборудования. Однако после перезагрузки данные сохраняются. Instance Store идеально подходит для буферных, кэшированных и временных данных, временных файлов, а также данных, реплицированных между экземплярами флотилии (например, узлов Cassandra). Instance Store входит не во все типы экземпляров; ищите суффикс d (например, i3.xlarge, m5d.large).

Тома Amazon EBS — это подключённое по сети хранилище, которое сохраняется независимо от жизненного цикла экземпляра EC2. Том EBS существует в определённой зоне доступности и может быть подключён одновременно к одному экземпляру EC2 (кроме режима multi-attach для io1/io2). При остановке и последующем запуске экземпляра том EBS сохраняет все данные. Вы можете отсоединить его от одного экземпляра и подключить к другому в той же AZ либо создать снимок, чтобы скопировать его в другую AZ или регион.

AWS предлагает четыре типа томов EBS. gp3 (SSD общего назначения): базовые 3 000 IOPS и 125 MB/s с независимой настройкой до 16 000 IOPS и 1 000 MB/s; это вариант по умолчанию и наиболее экономичный выбор для большинства рабочих нагрузок. gp2: более старый SSD общего назначения, в котором IOPS зависят от размера (3 IOPS/GB, максимум 16 000); постепенно заменяется gp3. io2 Block Express: SSD с выделенными IOPS, до 256 000 IOPS и 4 000 MB/s, для баз данных с интенсивным I/O, таких как SAP HANA или Oracle. io1: устаревший SSD с выделенными IOPS.

Два типа EBS на основе HDD оптимизированы для пропускной способности, а не для IOPS. st1 (HDD, оптимизированный для пропускной способности): базовая производительность 40 MB/s/TB, с возможностью повышения до 250 MB/s/TB; подходит для больших данных, обработки журналов и хранилищ данных с большими последовательными операциями чтения. sc1 (холодный HDD): базовая производительность 12 MB/s/TB, с возможностью повышения до 80 MB/s/TB; самый недорогой вариант EBS для редко используемых последовательных данных. Томы HDD нельзя использовать в качестве загрузочных томов (корневого устройства). Выбирайте st1 или sc1 только тогда, когда пропускная способность важнее IOPS, а характер доступа к данным предполагает большие последовательные операции чтения и записи.

Снимки EBS — это резервные копии тома на определенный момент времени, которые надежно хранятся в Amazon S3 (хотя доступ к ним осуществляется через API EC2, а не напрямую через S3). Снимки являются инкрементальными: первый снимок содержит весь том, а последующие записывают только блоки, изменившиеся с момента последнего снимка, что снижает стоимость хранения. На основе любого снимка можно создать новый том EBS в любой AZ того же региона либо скопировать снимок в другой регион для аварийного восстановления между регионами.

Тома и снимки EBS можно шифровать с помощью ключей AWS KMS. Шифрование прозрачно для экземпляра: данные шифруются при передаче между экземпляром и томом, а также при хранении. Можно включить шифрование по умолчанию на уровне учетной записи, чтобы каждый новый том EBS, созданный в учетной записи, автоматически шифровался без настройки каждого отдельного тома. Чтобы зашифровать незашифрованный том, необходимо создать снимок, создать зашифрованную копию снимка, а затем создать новый том на основе зашифрованного снимка.

EBS Multi-Attach позволяет одновременно подключить том io1 или io2 к 16 экземплярам EC2 в одной и той же зоне доступности. Все подключенные экземпляры имеют полный доступ на чтение и запись. Эта возможность используется для кластерных приложений Linux, таких как Oracle RAC или Teradata, которые управляют конкурентным доступом на уровне приложения с помощью кластерной файловой системы. Multi-Attach не заменяет EFS для общих файловых систем: эта возможность предназначена именно для кластерного доступа на уровне блоков с координацией, которой управляет приложение.

Основные критерии выбора: Нужно постоянное хранение? → Используйте EBS. Данные можно воссоздать или они реплицируются? → Допустимо использовать Instance Store, который обеспечивает более высокую производительность. База данных с критически важными данными? → Всегда EBS, со снимками и шифрованием. Временное рабочее пространство для обучения ML или операций сортировки? → Instance Store для максимальной пропускной способности без дополнительных затрат. На экзамене часто приводятся сценарии, в которых нужно определить, подходит ли для заданной рабочей нагрузки временное или постоянное хранилище.

Экземпляры, оптимизированные для EBS, получают выделенную пропускную способность сети между экземпляром EC2 и EBS, отдельную от общей пропускной способности сети экземпляра. Это предотвращает конкуренцию за сеть между трафиком приложения и I/O хранилища. Большинство актуальных типов экземпляров по умолчанию оптимизированы для EBS без дополнительной платы. Для старых типов экземпляров может потребоваться включить оптимизацию EBS вручную за дополнительную почасовую плату. Для рабочих нагрузок баз данных с высоким I/O всегда убедитесь, что тип экземпляра оптимизирован для EBS, чтобы получить все выделенные IOPS тома.

Amazon Data Lifecycle Manager (DLM) автоматизирует создание, хранение и удаление снимков EBS и AMI. Вы определяете политики жизненного цикла, указывающие, для каких томов создавать резервные копии (по тегу), как часто создавать снимки (каждые 1, 2, 3, 4, 6, 8 или 12 часов либо ежедневно) и сколько снимков хранить. DLM устраняет необходимость в пользовательских сценариях резервного копирования и интегрируется с CloudWatch для мониторинга работоспособности политик. Для снимков между регионами настройте политику копирования в том же определении DLM.

Проверьте свое понимание концепций AWS Solutions Architect (SAA-C03) из этого урока.

На этом уроке вы узнали: Instance Store обеспечивает наивысшую производительность локального I/O, но является временным хранилищем — данные теряются при остановке или завершении работы, EBS предоставляет постоянное сетевое блочное хранилище с четырьмя типами томов, оптимизированными для IOPS (gp3, io2) или пропускной способности (st1, sc1), а также снимки EBS позволяют создавать резервные копии на определенный момент времени, хранящиеся в S3 и используемые для восстановления между AZ или регионами. Далее вы изучите основы объектного хранилища S3.