Menskalakan secara Horizontal dengan Sesi

Satu proses server hanya dapat menangani sejumlah beban. Untuk melayani lalu lintas yang jauh lebih besar, Anda menjalankan banyak instans secara berdampingan. 📈

Menambahkan lebih banyak salinan server Anda disebut penskalaan horizontal. Cara ini sering lebih murah dan aman daripada membeli satu mesin yang semakin besar.

Load balancer berada di depan dan membagi permintaan masuk ke berbagai instans Anda, sehingga tidak ada satu salinan pun yang kewalahan.

Penskalaan horizontal memerlukan transportasi jaringan, sehingga server MCP berjalan melalui Streamable HTTP, bukan transportasi stdio yang hanya bersifat lokal.

MCP menyimpan status setiap klien dalam sebuah sesi, yang diidentifikasi oleh id sesi yang dikirimkan kembali oleh klien pada setiap permintaan lanjutan.

Jika suatu sesi hanya hidup di memori satu instans, permintaan yang diarahkan ke tempat lain akan kehilangan statusnya. Ketidaksesuaian ini adalah masalah keterikatan.

Salah satu solusinya adalah sesi melekat: load balancer selalu mengirim id sesi tertentu kembali ke instans yang membuatnya.

Untuk skala yang lebih besar, gunakan penyimpanan bersama seperti Redis. Instans mana pun dapat memuat sesi, sehingga permintaan dapat diarahkan dengan bebas dan tetap bertahan setelah dimulai ulang.

Jaga agar instans tanpa status, tanpa menyimpan hal penting hanya di memori lokal. Dengan begitu, Anda dapat menambahkan, menghapus, atau menggantinya kapan saja.

Load balancer melakukan ping ke titik akhir kesehatan setiap instans dan berhenti mengirimkan lalu lintas ke salinan yang gagal, sehingga pengguna tetap berada pada salinan yang sehat.

Dengan instans tanpa status, Anda dapat melakukan penskalaan otomatis: menambahkan salinan saat beban meningkat dan menghapusnya saat beban menurun, sehingga Anda hanya membayar yang digunakan.

Anda menjalankan banyak instans di belakang load balancer, membagikan sesi dalam penyimpanan pusat, dan menjaga salinan tetap tanpa status agar dapat melakukan penskalaan otomatis sesuai permintaan. 🚀