Oturumlarla Yatay Ölçekleme

Tek bir sunucu işlemi ancak belli bir yükü kaldırabilir. Çok daha fazla trafiğe hizmet vermek için aynı sunucunun birçok örneğini yan yana çalıştırırsınız. 📈

Sunucunuzun daha fazla kopyasını eklemek yatay ölçeklemedir. Bu, sürekli daha büyük tek bir makine satın almaktan çoğu zaman daha ucuz ve güvenlidir.

Bir yük dengeleyici önde durur ve gelen istekleri örnekleriniz arasında dağıtır; böylece tek bir kopya aşırı yük altında kalmaz.

Yatay ölçekleme için bir ağ aktarımı gerekir; bu nedenle MCP sunucuları yalnızca yerelde kullanılan stdio aktarımı yerine Streamable HTTP üzerinden çalışır.

MCP, istemciye özel durumu bir oturumda tutar. Bu oturum, istemcinin sonraki her istekte geri gönderdiği bir oturum kimliğiyle belirlenir.

Bir oturum yalnızca tek bir örneğin belleğinde yaşarsa başka yere yönlendirilen bir istek durumunu kaybeder. Bu uyumsuzluk yapışkanlık sorunudur.

Bir çözüm yapışkan oturumlardır: yük dengeleyici, belirli bir oturum kimliğini her zaman onu oluşturan örneğe gönderir.

Ölçekleme için Redis gibi bir paylaşılan depo daha iyidir. Her örnek bir oturumu yükleyebilir; böylece istekler serbestçe yönlendirilir ve yeniden başlatmalardan etkilenmez.

Örnekleri durumsuz tutun; kritik hiçbir şeyi yalnızca yerel bellekte bulundurmayın. Böylece örnekleri istediğiniz zaman ekleyebilir, kaldırabilir veya değiştirebilirsiniz.

Dengeleyici, her örneğin sağlık uç noktasına ping gönderir ve başarısız olan kopyaya trafik göndermeyi durdurur; böylece kullanıcılar sağlıklı kopyalarda kalır.

Durumsuz örneklerle otomatik ölçekleme yapabilirsiniz: yük arttığında kopyalar ekleyin, azaldığında kaldırın ve yalnızca kullandığınız kadar ödeyin.

Bir yük dengeleyicinin arkasında birçok örnek çalıştırdınız, oturumları merkezi bir depoda paylaştınız ve talebe göre otomatik ölçekleme yapabilmek için kopyaları durumsuz tuttunuz. 🚀