Escalar horizontalmente con sesiones

Un único proceso de servidor solo puede hacer hasta cierto punto. Para atender mucho más tráfico, debe ejecutar varias instancias en paralelo. 📈

Añadir más copias del servidor es realizar un escalado horizontal. A menudo resulta más barato y seguro que comprar una máquina cada vez más grande.

Un load balancer se sitúa delante y distribuye las solicitudes entrantes entre sus instancias, para que ninguna copia se vea desbordada.

El escalado horizontal necesita un transporte de red, por lo que los servidores MCP se ejecutan mediante Streamable HTTP en lugar del transporte stdio, exclusivo del entorno local.

MCP conserva el estado de cada cliente en una session, identificada mediante un ID de sesión que el cliente devuelve en cada solicitud posterior.

Si una sesión vive únicamente en la memoria de una instancia, una solicitud dirigida a otra pierde su estado. Esta discrepancia es el problema de la stickiness.

Una solución son las sticky sessions: el equilibrador de carga siempre envía un ID de sesión determinado a la misma instancia que lo creó.

Para escalar, es mejor utilizar un shared store como Redis. Cualquier instancia puede cargar una sesión, por lo que las solicitudes se enrutan libremente y sobreviven a los reinicios.

Mantenga las instancias stateless y no almacene información crítica únicamente en la memoria local. Así podrá añadirlas, eliminarlas o reemplazarlas en cualquier momento.

El equilibrador consulta el endpoint de health de cada instancia y deja de enviar tráfico a las copias que fallan, de modo que los usuarios permanezcan en instancias saludables.

Con instancias sin estado, puede realizar un autoscale: añadir copias cuando aumenta la carga y eliminarlas cuando disminuye, pagando solo por lo que utiliza.

Ha ejecutado varias instancias detrás de un load balancer, ha compartido las sesiones en un almacén central y ha mantenido las copias sin estado para escalar automáticamente según la demanda. 🚀