Skalowanie horyzontalne z sesjami

Pojedynczy proces serwera może obsłużyć tylko określoną liczbę zadań. Aby obsługiwać znacznie większy ruch, uruchamia się wiele jego instancji obok siebie. 📈

Dodawanie kolejnych kopii serwera to skalowanie horyzontalne. Często jest ono tańsze i bezpieczniejsze niż kupowanie jednej, coraz większej maszyny.

Load balancer znajduje się przed serwerami i rozdziela przychodzące żądania między instancje, dzięki czemu żadna pojedyncza kopia nie zostaje przeciążona.

Skalowanie horyzontalne wymaga transportu sieciowego, dlatego serwery MCP działają przez Streamable HTTP, a nie przez lokalny transport stdio.

MCP przechowuje stan poszczególnych klientów w sesji identyfikowanej identyfikatorem sesji, który klient odsyła przy każdym kolejnym żądaniu.

Jeśli sesja istnieje tylko w pamięci jednej instancji, żądanie przekierowane gdzie indziej utraci jej stan. Ta rozbieżność to problem przywiązania sesji.

Jednym z rozwiązań są sesje trwałe: load balancer zawsze wysyła dany identyfikator sesji do tej samej instancji, która go utworzyła.

Lepszym rozwiązaniem przy skalowaniu jest współdzielony magazyn, taki jak Redis. Każda instancja może wczytać sesję, więc żądania są swobodnie przekierowywane i przetrwają ponowne uruchomienia.

Instancje powinny być bezstanowe i nie przechowywać niczego krytycznego wyłącznie w lokalnej pamięci. Dzięki temu można je w dowolnym momencie dodawać, usuwać lub zastępować.

Balancer odpytuje punkt końcowy kondycji każdej instancji i przestaje wysyłać ruch do kopii, która nie odpowiada, kierując użytkowników do sprawnych instancji.

W przypadku bezstanowych instancji można stosować autoskalowanie: dodawać kopie, gdy rośnie obciążenie, i usuwać je, gdy spada, płacąc tylko za wykorzystane zasoby.

Uruchomili Państwo wiele instancji za load balancerem, współdzielili sesje w centralnym magazynie i zachowali bezstanowe kopie, aby automatycznie skalować je do zapotrzebowania. 🚀