Горизонтальное масштабирование с сеансами

Один серверный процесс может справиться лишь с определённой нагрузкой. Чтобы обслуживать гораздо больше трафика, вы запускаете рядом множество его экземпляров. 📈

Добавление копий сервера называется горизонтальным масштабированием. Зачастую это дешевле и безопаснее, чем покупка одной постоянно более мощной машины.

Балансировщик нагрузки располагается перед серверами и распределяет входящие запросы между их экземплярами, чтобы ни одна копия не была перегружена.

Для горизонтального масштабирования нужен сетевой транспорт, поэтому серверы MCP работают через потоковый HTTP, а не через локальный транспорт stdio.

MCP хранит состояние каждого клиента в сеансе, который определяется идентификатором сеанса, отправляемым клиентом в каждом последующем запросе.

Если сеанс хранится в памяти только одного экземпляра, запрос, направленный в другое место, теряет его состояние. Это несоответствие и называется проблемой привязки.

Один из вариантов решения — привязанные сеансы: балансировщик нагрузки всегда отправляет заданный идентификатор сеанса тому же экземпляру, который его создал.

Для масштабирования лучше использовать общее хранилище, например Redis. Любой экземпляр может загрузить сеанс, поэтому запросы свободно маршрутизируются и переживают перезапуски.

Делайте экземпляры не сохраняющими состояние, не храня ничего критически важного только в локальной памяти. Тогда их можно в любой момент добавлять, удалять или заменять.

Балансировщик отправляет запрос на конечную точку работоспособности каждого экземпляра и прекращает направлять трафик к копии, которая не отвечает, оставляя пользователей на исправных экземплярах.

С экземплярами без состояния можно выполнять автоматическое масштабирование: добавлять копии при росте нагрузки и удалять их при её снижении, оплачивая только используемые ресурсы.

Что позволяет направить любой запрос в любой экземпляр?

Вы запустили множество экземпляров за балансировщиком нагрузки, разместили сеансы в центральном хранилище и оставили копии без состояния, чтобы автоматически масштабироваться по требованию. 🚀