Оптимизация затрат на S3 и передачу данных

Стоимость хранения Amazon S3 значительно различается в зависимости от класса хранения и характера доступа. S3 Standard стоит примерно $0.023 за ГБ в месяц — при масштабе в петабайты это становится существенной суммой. Хорошая новость заключается в том, что S3 предлагает семь классов хранения, оптимизированных для разной частоты доступа, с ценами от $0.023/ГБ (Standard) до $0.00099/ГБ (Glacier Deep Archive). Ключ к оптимизации затрат на S3 — выбрать подходящий класс хранения для данных и автоматизировать переходы с помощью политик жизненного цикла.

S3 Intelligent-Tiering автоматически перемещает объекты между уровнями доступа в зависимости от фактических обращений к ним — без платы за извлечение и без минимального срока хранения для часто используемого уровня. Сервис отслеживает доступ к объектам на уровне отдельных объектов: объекты, к которым не обращались 30 дней, перемещаются на уровень нечастого доступа (на 40% дешевле), а через 90 дней — на уровень мгновенного архивного доступа (на 68% дешевле). Взимается небольшая ежемесячная плата за мониторинг ($0.0025 за 1 000 объектов). Используйте Intelligent-Tiering, если невозможно предсказать характер доступа или в одном bucket находятся одновременно часто и редко используемые данные.

Правила жизненного цикла S3 автоматизируют переходы объектов между уровнями и их удаление в зависимости от возраста. Вы задаёте правила по префиксу или тегу, а затем указываете переходы при достижении определённого количества дней. Типичный жизненный цикл архивирования: Standard → Standard-IA (30 дней) → Glacier Instant Retrieval (90 дней) → Deep Archive (365 дней) → Delete (2555 дней). Со временем это позволяет снизить стоимость хранения одного ГБ с $0.023 до $0.00099 — на 95% для архивных данных. Для перехода в IA и Glacier минимальный размер объекта составляет 128 КБ (перемещать объекты меньшего размера невыгодно).

S3 Select позволяет получать только нужные данные из объекта S3 с помощью выражений SQL, не загружая объект целиком. Например, если из CSV-файла размером 10 ГБ нужны только 100 строк, S3 Select извлечёт лишь эти строки, значительно сократив затраты на передачу данных и время обработки в приложении. Glacier Select выполняет ту же задачу для объектов в Glacier. S3 Select поддерживает форматы CSV, JSON и Parquet. Это особенно полезно в конвейерах аналитики данных, где многие запросы обращаются только к части каждого файла данных.

При загрузке больших объектов S3 Multipart Upload разделяет их на части (минимум 5 МБ на часть), которые загружаются параллельно, повышая пропускную способность и позволяя возобновлять загрузку. Неудачные части можно загрузить повторно, не начиная всю загрузку заново. Удаляйте незавершённые составные загрузки с помощью правил жизненного цикла, чтобы не платить за незавершённые части. S3 Transfer Acceleration направляет загрузки через пограничные расположения AWS CloudFront, ускоряя передачу из удалённых мест. Это полезно для пользователей, которые загружают большие файлы из разных стран, но увеличивает стоимость (дополнительно $0.04–$0.08/ГБ). Используйте ускорение только тогда, когда оно даёт заметное улучшение.

Затраты на передачу данных — один из самых неожиданных пунктов в счетах AWS. Основные правила: входящая передача данных (в AWS) бесплатна. Исходящая передача данных в интернет стоит примерно $0.09/ГБ (первые 10 ТБ в месяц). Передача данных между регионами стоит примерно $0.02/ГБ. Передача данных между AZ в одном регионе стоит $0.01/ГБ в каждом направлении. Передача данных внутри одной AZ бесплатна. Проектируйте архитектуру так, чтобы свести к минимуму передачу данных между регионами и в интернет — поэтому региональные развертывания и CloudFront так важны для экономичной доставки содержимого.

Доставка содержимого через Amazon CloudFront значительно снижает затраты на передачу данных двумя способами. Во-первых, CloudFront применяет более низкие тарифы на исходящий трафик, чем EC2 или прямой доступ к S3 из интернета (~$0.0085/ГБ против $0.09/ГБ). Во-вторых, CloudFront кэширует содержимое в пограничных расположениях, уменьшая число обращений к источнику. Один и тот же контент можно отдавать из кэша миллионы раз, обратившись к источнику только один раз. Передача данных от S3 к CloudFront также бесплатна. Поэтому CloudFront — это инструмент оптимизации затрат, а не только повышения производительности.

Плата за обработку данных NAT Gateway ($0.045/ГБ) может стать существенной, если экземпляры EC2 в закрытых подсетях часто обращаются к S3 или DynamoDB. Вместо этого используйте VPC Gateway Endpoints для S3 и DynamoDB: они направляют трафик через магистральную сеть AWS с нулевой стоимостью, и для этих сервисов не требуется NAT Gateway. Кроме того, VPC Interface Endpoints (PrivateLink) для других сервисов AWS устраняют плату за обработку трафика через NAT Gateway для этих сервисов, хотя сами Interface Endpoints имеют небольшую почасовую стоимость.

S3 взимает плату не только за хранимые ГБ, но и за каждый запрос API. Запросы PUT, COPY, POST, LIST стоят $0.005 за 1 000, а запросы GET, SELECT — $0.0004 за 1 000. Для приложений, выполняющих миллионы запросов, эти затраты складываются. Оптимизируйте их следующим образом: объединяйте небольшие объекты в более крупные (меньше запросов), используйте CloudFront для выдачи кэшированных ответов (это уменьшает число запросов GET к источнику), по возможности избегайте операций со списками (LIST стоит дорого) и используйте S3 Batch Operations для массовых операций вместо миллионов отдельных вызовов API.

Для масштабной передачи данных между локальной инфраструктурой и AWS или между сервисами AWS AWS DataSync экономичнее, чем написание собственного кода передачи. DataSync использует специализированный протокол, обеспечивающий пропускную способность до 10 раз выше, чем у инструментов с открытым исходным кодом, а также включает встроенную проверку данных, планирование и мониторинг. Передача данных через DataSync в S3, EFS или FSx оплачивается по стандартным тарифам AWS на передачу данных, но эффективность DataSync позволяет быстрее завершать передачу, сокращая время работы EC2 (и затраты на него), необходимое для крупных миграций.

Amazon S3 Storage Lens предоставляет сведения об использовании хранилища S3 и метрики активности в масштабах всей организации, включая разные аккаунты и регионы. Сервис выявляет возможности оптимизации затрат, например bucket без правил жизненного цикла, bucket с незавершёнными составными загрузками или распределение объектов по классам хранения. Стандартная панель S3 Storage Lens бесплатна; панель с расширенными метриками ($0.20 за миллион объектов) добавляет детализацию по префиксам и метрики возраста данных. Используйте Storage Lens как отправную точку для любой оптимизации затрат на S3, чтобы выявить bucket с наибольшим потенциалом экономии.

Проверьте, насколько хорошо Вы понимаете концепции AWS Solutions Architect (SAA-C03) из этого урока.

В этом уроке Вы узнали: S3 Intelligent-Tiering и правила жизненного цикла автоматически перемещают данные в более дешёвые классы хранения, снижая затраты, CloudFront значительно уменьшает затраты на передачу данных по сравнению с непосредственной раздачей из S3 или EC2, а VPC Gateway Endpoints устраняют плату NAT Gateway за трафик S3 и DynamoDB. S3 Storage Lens помогает выявлять возможности оптимизации. Далее мы рассмотрим KMS, ACM и схемы шифрования.