Horizontaal schalen met sessies

Een load balancer staat vooraan en verdeelt binnenkomende verzoeken over je instanties, zodat geen enkele kopie wordt overbelast.

Horizontaal schalen vereist netwerktransport. Daarom draaien MCP-servers via Streamable HTTP in plaats van via het lokale stdio-transport.

MCP bewaart de status per client in een sessie, die wordt geïdentificeerd door een sessie-id die de client bij elk vervolgeverzoek meestuurt.

Als een sessie alleen in het geheugen van één instantie leeft, raakt een verzoek dat ergens anders naartoe wordt gestuurd zijn status kwijt. Die mismatch is het probleem van sessievastheid.

Een oplossing is vaste sessies: de load balancer stuurt een bepaalde sessie-id altijd terug naar dezelfde instantie die de sessie heeft aangemaakt.

Voor schaalbaarheid is een gedeelde opslag zoals Redis beter. Elke instantie kan een sessie laden, zodat verzoeken vrij kunnen worden gerouteerd en herstarts overleven.

Houd instanties stateless en bewaar niets cruciaals uitsluitend in lokaal geheugen. Daarna kun je ze op elk moment toevoegen, verwijderen of vervangen.

De balancer controleert het gezondheidseindpunt van elke instantie en stopt met het sturen van verkeer naar een kopie die uitvalt, zodat gebruikers op gezonde kopieën blijven.

Met stateless instanties kun je automatisch schalen: voeg kopieën toe wanneer de belasting stijgt en verwijder ze wanneer die daalt. Zo betaal je alleen voor wat je gebruikt.

Je draaide meerdere instanties achter een load balancer, deelde sessies in een centrale opslag en hield kopieën stateless om op verzoek automatisch te kunnen schalen. 🚀