Escalonar horizontalmente com sessões

Um único processo do servidor só consegue fazer até certo ponto. Para atender a muito mais tráfego, você executa várias instâncias dele lado a lado. 📈

Adicionar mais cópias do seu servidor é fazer escalabilidade horizontal. Geralmente, isso é mais barato e seguro do que comprar uma única máquina cada vez maior.

Um balanceador de carga fica na frente e distribui as solicitações recebidas entre suas instâncias, para que nenhuma cópia fique sobrecarregada.

A escalabilidade horizontal precisa de um transporte de rede, por isso os servidores MCP são executados sobre Streamable HTTP, em vez do transporte stdio, que funciona apenas localmente.

O MCP mantém o estado de cada cliente em uma sessão, identificada por um id de sessão que o cliente envia novamente em todas as solicitações seguintes.

Se uma sessão existir apenas na memória de uma instância, uma solicitação encaminhada para outro lugar perderá o estado. Essa incompatibilidade é o problema de afinidade.

Uma solução é usar sessões fixas: o balanceador de carga sempre envia um determinado id de sessão de volta para a mesma instância que o criou.

Para obter mais escala, é melhor usar um armazenamento compartilhado, como o Redis. Qualquer instância pode carregar uma sessão, permitindo o roteamento livre das solicitações e a sobrevivência a reinicializações.

Mantenha as instâncias sem estado, sem guardar nada essencial apenas na memória local. Assim, você pode adicioná-las, removê-las ou substituí-las a qualquer momento.

O balanceador consulta o endpoint de integridade de cada instância e para de enviar tráfego a qualquer cópia que falhe, mantendo os usuários nas cópias saudáveis.

Com instâncias sem estado, você pode ajustar a escala automaticamente: adicionar cópias quando a carga aumenta e removê-las quando diminui, pagando apenas pelo que usar.

Você executou várias instâncias atrás de um balanceador de carga, compartilhou as sessões em um armazenamento central e manteve as cópias sem estado para ajustar a escala automaticamente conforme a demanda. 🚀