Redis и Memcached: выбор подходящего механизма

Amazon ElastiCache — это полностью управляемый сервис кэширования в памяти, который упрощает развёртывание, управление и масштабирование популярных хранилищ данных в памяти с открытым исходным кодом в облаке. Он поддерживает два движка: Redis и Memcached. Обслуживая часто запрашиваемые данные из памяти, а не из базы данных, ElastiCache может на порядки снизить нагрузку на базу данных и сократить задержку ответа с миллисекунд до микросекунд. Выбор между Redis и Memcached — распространённый вопрос на экзамене SAA-C03.

Memcached — это распределённое хранилище «ключ-значение» в памяти, ориентированное на простоту и горизонтальную масштабируемость. Основные характеристики: многопоточность (может использовать все ядра CPU на одном узле), простое хранилище «ключ-значение» (только строки, без сложных структур данных), отсутствие сохранения данных (данные теряются при перезапуске узла), отсутствие репликации (нет резервного узла или реплик) и горизонтальное распределение с помощью согласованного хеширования на стороне клиента. Memcached — правильный выбор, если Вам нужен простой крупномасштабный кэш и не требуются сохранение данных, сложные типы данных или высокая доступность.

Redis (Remote Dictionary Server) — это однопоточное (для каждого экземпляра), многофункциональное хранилище структур данных в памяти, поддерживающее строки, хеши, списки, множества, упорядоченные множества, растровые изображения, HyperLogLogs, потоки и геопространственные индексы. Основные преимущества по сравнению с Memcached: опциональное сохранение данных (AOF и снимки RDB), репликация (реплики для чтения и автоматическое переключение при сбое), обмен сообщениями pub/sub, скрипты Lua, транзакции (MULTI/EXEC) и режим кластера для горизонтального распределения. Redis — правильный выбор для большинства реальных сценариев кэширования.

Redis поддерживает два механизма сохранения данных: RDB (Redis Database) — периодические снимки состояния на определённый момент времени, сохраняемые на диск через настраиваемые интервалы (быстрые перезапуски, но возможна потеря данных между снимками). AOF (файл только для добавления) — журналирование каждой операции записи; при перезапуске Redis воспроизводит журнал, чтобы восстановить состояние (надёжность хранения достигается ценой увеличения размера файлов и замедления перезапусков). В ElastiCache можно Enable AOF, чтобы сохранять данные после перезапуска узлов. Это особенно важно, когда ElastiCache используется не только как кэш, но и как основное хранилище данных, например для данных сеансов.

Redis поддерживает группы репликации с одним основным узлом, который обрабатывает все операции записи, и максимум пятью репликами для чтения, которые обрабатывают операции чтения. Если включены Multi-AZ и автоматическое переключение при сбое, ElastiCache автоматически назначает реплику для чтения основной при сбое основного узла — обычно переключение завершается менее чем за 60 секунд. Это обеспечивает приложениям на основе Redis высокую доступность, которой Memcached не может предложить (в Memcached нет репликации). Для рабочих приложений, которым требуется кэширование с высокой доступностью, всегда используйте Redis с автоматическим переключением при сбое.

Упорядоченные множества — одна из самых мощных структур данных Redis. С каждым элементом связано число с плавающей точкой, а элементы всегда хранятся в упорядоченном виде. Поэтому упорядоченные множества идеально подходят для таблиц лидеров (ранжирование по баллам), очередей с приоритетом (сначала обрабатываются задачи с наивысшим приоритетом) и ограничения частоты запросов (скользящее окно, в котором метки времени используются как баллы). Все операции ZADD, ZRANGE, ZREVRANGE, ZRANK и ZRANGEBYSCORE выполняются за O(log n) — это чрезвычайно эффективно даже для миллионов записей.

Pub/sub Redis позволяет издателям транслировать сообщения в каналы, не зная, кто на них подписан. Подписчики получают в реальном времени все сообщения, опубликованные в каналах, на которые они подписаны. Сообщения Pub/sub не сохраняются — если подписчик находится вне сети, он пропускает сообщение. Для постоянного обмена сообщениями с гарантированной доставкой используйте Redis Streams (более надёжную структуру данных, добавленную в Redis 5) или специализированный сервис обмена сообщениями, например SQS или SNS. На экзамене SAA-C03 Pub/sub Redis рассматривается как вариант для лёгких уведомлений между сервисами в реальном времени.

Используйте следующие рекомендации при выборе на экзамене SAA-C03. Выбирайте Memcached, если Вам нужны: простой кэш без требования высокой доступности, многопоточная производительность и горизонтальное масштабирование за счёт добавления узлов (чистый кэш). Выбирайте Redis, если Вам нужны: сохранение данных (хранилище сеансов), репликация и переключение при сбое (высокая доступность), сложные типы данных (упорядоченные множества для таблиц лидеров, множества, списки), pub/sub, транзакции Lua или Cluster Mode для горизонтального масштабирования с несколькими сегментами. Если в вопросе экзамена упоминается какая-либо функция помимо простого кэширования «ключ-значение», почти всегда правильным ответом будет Redis.

ElastiCache предлагает несколько семейств типов узлов: r7g (Graviton 3, оптимизированы для работы с памятью — лучшее соотношение цены и производительности, рекомендуются для большинства задач кэширования), m7g (сбалансированные вычислительные ресурсы и память) и t4g (с возможностью кратковременного увеличения производительности, низкая стоимость для разработки и тестирования). Размеры узлов варьируются от cache.t4g.micro (500 MB) до cache.r7g.16xlarge (425 GB). Для рабочего окружения выбирайте размер узла, при котором набор данных помещается в память с запасом 20–25%. Нехватка памяти приводит к вытеснению данных (Memcached) или ошибкам OOM (Redis).

ElastiCache развёртывается внутри Вашей VPC, а группы безопасности управляют доступом — по умолчанию доступ из общедоступного интернета отсутствует. Для Redis включите токены AUTH (пароль, который должны предоставить клиенты), шифрование при передаче (TLS) для соединений и шифрование при хранении с использованием KMS. Для Memcached доступно только шифрование при передаче по TLS (шифрование при хранении и AUTH недоступны). При переходе от незашифрованного Redis к зашифрованному миграция на месте невозможна — необходимо создать новый зашифрованный кластер и прогреть его.

Когда кэш Redis или Memcached заполнен, политика вытеснения определяет, какие ключи удалить, чтобы освободить место. Распространённые политики вытеснения Redis: noeviction (возвращает ошибку OOM — подходит, когда кэш является основным хранилищем), allkeys-lru (вытесняет давно не использовавшиеся ключи среди всех ключей — подходит для кэша общего назначения), volatile-lru (применяет LRU к ключам с установленным TTL — сохраняет ключи без срока действия), allkeys-random (случайное вытеснение), allkeys-lfu (вытесняет ключи, использовавшиеся реже всего). Для типичных сценариев кэширования рекомендуются allkeys-lru или allkeys-lfu.

Проверьте своё понимание концепций AWS Solutions Architect (SAA-C03) из этого урока.

В этом уроке Вы узнали, что Memcached прост, многопоточен и не поддерживает высокую доступность — он лучше всего подходит для чистого горизонтального масштабирования простых кэшей; Redis поддерживает сложные структуры данных, сохранение данных, pub/sub и переключение при сбое в Multi-AZ — он лучше всего подходит для большинства сценариев кэширования в рабочих окружениях; а упорядоченные множества делают Redis естественным выбором для таблиц лидеров и очередей с приоритетом. Далее мы рассмотрим группы репликации Redis и Cluster Mode для горизонтального распределения.