Alat Asinkron yang Tidak Menghalangi

Jika sebuah tool melakukan pekerjaan lambat secara sinkron, tool tersebut memblokir seluruh server, sehingga setiap panggilan lain harus menunggu gilirannya. ⏳

Tool yang memanggil basis data atau API menghabiskan sebagian besar waktunya untuk I/O, hanya menunggu balasan dan bukan menggunakan CPU.

Menandai tool sebagai asinkron memungkinkan server menangani permintaan lain selama menunggu, alih-alih menganggur pada satu panggilan.

Deklarasikan penangan Anda dengan async def dan FastMCP akan menunggunya, sehingga loop peristiwa dapat melayani pekerjaan lain sementara itu.

Di dalam tool asinkron, gunakan await pada pustaka asinkron agar setiap jeda mengembalikan kendali ke loop, bukan membekukannya.

Gunakan klien seperti httpx atau asyncpg. Keduanya dibuat untuk menunggu secara asinkron, berbeda dari pustaka pemblokir yang menghentikan seluruh loop.

time.sleep biasa atau loop yang berat memblokir setiap permintaan lain. Dalam kode asinkron, panggilan pemblokir secara diam-diam membekukan server.

Untuk perhitungan CPU yang benar-benar berat, kirim pekerjaan tersebut ke sebuah thread dengan asyncio.to_thread agar loop peristiwa tetap bebas melayani panggilan.

Perlu melakukan beberapa fetch sekaligus? asyncio.gather menjalankan awaitable bersama-sama, sehingga selesai jauh lebih cepat daripada menunggu masing-masing secara berurutan.

Bungkus await yang lambat dengan timeout agar satu upstream yang macet tidak dapat menahan permintaan selamanya dan membuat server kehabisan sumber daya.

Dengan I/O asinkron, satu proses dapat menangani banyak panggilan yang sedang berlangsung secara bersamaan, sehingga server Anda tetap responsif di bawah beban nyata.

Anda membuat tool menjadi asinkron, menggunakan await pada I/O, mengalihkan pekerjaan CPU, dan menjalankan panggilan bersama-sama, sehingga satu tool yang lambat tidak lagi membekukan server. 🚀