セッションで水平スケーリングする

1つのサーバープロセスでできることには限りがあります。はるかに多くのトラフィックに対応するには、複数のインスタンスを並行して実行します。📈

サーバーのコピーを増やすことを水平スケーリングといいます。1台のマシンを際限なく大きくするより、安価で安全なことが多い方法です。

ロードバランサーを前段に配置し、受信リクエストを複数のインスタンスに分散します。これにより、1つのコピーに負荷が集中するのを防げます。

水平スケーリングにはネットワークトランスポートが必要です。そのため、MCPサーバーはローカル限定のstdioトランスポートではなくStreamable HTTP上で動作します。

MCPはクライアントごとの状態をセッションに保持します。セッションは、クライアントが後続の各リクエストで送り返すセッションIDによって識別されます。

セッションが1つのインスタンスのメモリにしか存在しない場合、別の場所にルーティングされたリクエストは状態を失います。この不一致がスティッキー性の問題です。

解決策の1つはスティッキーセッションです。ロードバランサーが、指定されたセッションIDを常に、それを作成した同じインスタンスへ送り返します。

スケールには、Redisのような共有ストアのほうが適しています。どのインスタンスからでもセッションを読み込めるため、リクエストを自由にルーティングでき、再起動にも耐えられます。

重要な情報をローカルメモリだけに保持せず、インスタンスをステートレスに保ちます。そうすれば、いつでも追加、削除、置き換えができます。

ロードバランサーは各インスタンスのヘルスエンドポイントに ping を送り、失敗したコピーへのトラフィックを停止します。これにより、ユーザーを正常なコピーに留められます。

ステートレスなインスタンスならオートスケールが可能です。負荷が増えたらコピーを追加し、減ったら削除することで、使った分だけ支払えます。

ロードバランサーの背後で多数のインスタンスを実行し、中央のストアでセッションを共有し、コピーをステートレスに保って需要に応じてオートスケールしました。🚀