Контейнеры, объекты и регионы

Amazon Simple Storage Service (S3) — это сервис объектного хранения AWS, предназначенный для хранения и получения любого объема данных из любой точки интернета. S3 обеспечивает 11 девяток надежности (99.999999999%) благодаря избыточному хранению объектов на нескольких устройствах в нескольких зонах доступности выбранного региона. Он неограниченно масштабируется, не имеет ограничения емкости и поддерживает объекты размером от 0 байт до 5 TB. S3 лежит в основе множества архитектур AWS: на нем размещаются статические веб-сайты, озера данных, репозитории резервных копий и многое другое.

Бакет S3 — это контейнер объектов с глобально уникальным именем. Бакеты создаются в определенном регионе AWS, но их имена должны быть глобально уникальными среди всех учетных записей AWS по всему миру, поскольку имя становится частью URL. Имя бакета должно содержать от 3 до 63 символов, состоять из строчных букв, начинаться с буквы или цифры и не содержать символов подчеркивания или заглавных букв. Рекомендуется включать ID учетной записи или случайный суффикс, чтобы избежать совпадения имен с другими учетными записями.

Объект в S3 состоит из данных (содержимого файла), ключа (уникального имени объекта в бакете), метаданных (определяемых системой и пользователем пар «ключ-значение»), а также, при необходимости, ID версии, если версионирование включено. Ключ — это полная строка, похожая на путь, например photos/2024/summer/beach.jpg. S3 имеет плоскую структуру: настоящих каталогов нет, есть только префиксы ключей, которые выглядят как каталоги. Максимальный размер объекта составляет 5 TB; для объектов больше 100 MB используйте Multipart Upload, чтобы повысить производительность и надежность.

Доступ к объектам S3 можно получить через URL двух форматов. В стиле пути: https://s3.<region>.amazonaws.com/<bucket>/<key> (устаревает для новых бакетов). В стиле виртуального хоста: https://<bucket>.s3.<region>.amazonaws.com/<key> (текущий стандарт). Имя бакета становится поддоменом, поэтому имена бакетов должны соответствовать требованиям DNS. Для предварительно подписанных URL и дистрибутивов CloudFront всегда используется формат виртуального хоста. Понимание структуры URL помогает правильно настраивать политики бакетов и CORS.

С декабря 2020 года Amazon S3 автоматически и без дополнительной платы обеспечивает строгую согласованность чтения после записи для всех операций: PUT новых объектов, перезаписи и DELETE во всех регионах. Это означает, что сразу после успешной записи любое последующее чтение вернет последнюю версию объекта. Это существенное улучшение по сравнению с предыдущей моделью конечной согласованности, которое упрощает проектирование приложений, устраняя необходимость в задержках чтения после записи или логике повторных попыток.

При создании бакета S3 вы указываете регион, и ваши данные остаются в этом регионе, если вы явно не настроите репликацию. AWS реплицирует данные в пределах этого региона между несколькими AZ для надежности, но не перемещает данные в другие регионы автоматически. Такое региональное размещение данных важно для соответствия требованиям: если нормативные требования предписывают хранить данные в EU, создайте бакет в eu-west-1 или другом регионе EU, и ваши данные не покинут его.

Multipart Upload обязателен для объектов размером более 5 GB и рекомендуется для объектов более 100 MB. Он делит объект на части (минимум 5 MB на часть, до 10 000 частей), загружает каждую часть независимо, параллельно с другими, а затем объединяет их в итоговый объект. Если какая-либо часть не загружена, повторно загружается только эта часть. AWS CLI и SDK автоматически обрабатывают составную загрузку при использовании команды aws s3 cp для больших файлов: вручную реализовывать ее не требуется.

Каждый объект S3 имеет системные метаданные, заданные AWS (Content-Type, Content-Length, ETag, Last-Modified), и необязательные пользовательские метаданные (пользовательские пары «ключ-значение» с префиксом x-amz-meta-). Метаданные хранятся вместе с объектом и возвращаются в заголовках HTTP-ответа при загрузке объекта. Content-Type особенно важен для веб-раздачи: если загрузить HTML-файл без указания Content-Type: text/html, браузеры могут предложить скачать его вместо отображения.

Amazon S3 может выступать в роли хоста статического веб-сайта, напрямую раздавая из бакета HTML, CSS, JavaScript, изображения и другие файлы. Включите размещение статического веб-сайта в свойствах бакета, укажите индексный документ (index.html) и необязательный документ ошибки (404.html). URL конечной точки веб-сайта бакета имеет формат: http://<bucket>.s3-website.<region>.amazonaws.com. Для поддержки HTTPS и пользовательского домена разместите дистрибутив CloudFront перед бакетом S3 со статическим веб-сайтом.

S3 Transfer Acceleration ускоряет загрузку объектов на больших расстояниях, направляя данные через ближайший пограничный узел CloudFront, а затем по частной магистральной сети AWS в регион бакета S3. Вместо прямой загрузки в конечную точку S3 клиент загружает данные в ускоренную конечную точку, например my-bucket.s3-accelerate.amazonaws.com. Transfer Acceleration добавляет небольшую плату за GB, но может существенно повысить скорость загрузки для пользователей, географически удаленных от региона бакета.

Теги объектов — это пары «ключ-значение», прикрепляемые к объектам S3 для их категоризации и управления ими. Теги используются для: правил жизненного цикла (перевода или удаления объектов с определенными тегами), контроля доступа (условий в политиках IAM и бакетов на основе значений тегов), распределения затрат (Cost Explorer отслеживает расходы S3 по тегам), а также инвентаризации и аналитики. Каждый объект может иметь до 10 тегов. Теги можно добавить при загрузке или обновить после создания объекта, не изменяя сами данные объекта.

Проверьте свое понимание концепций AWS Solutions Architect (SAA-C03) из этого урока.

На этом уроке вы узнали: бакеты S3 — это контейнеры с глобально уникальными именами, привязанные к определенному региону, объекты хранятся в плоской структуре ключей и поддерживают метаданные и теги, а также S3 обеспечивает строгую согласованность чтения после записи и 11 девяток надежности благодаря избыточности между несколькими AZ. Далее вы изучите контроль доступа S3 с помощью политик бакетов и ACL.