Menyajikan Model dengan MAX

Pelatihan menghasilkan model, tetapi pengguna memerlukan layanan yang dapat mereka panggil. MAX menjembatani kesenjangan itu dengan menyajikan model Anda melalui endpoint. 🌐

Penyajian berarti menjaga model tetap dimuat dan siap digunakan agar permintaan memperoleh jawaban dengan cepat tanpa memuatnya ulang setiap kali.

Langkah pertama adalah load model Anda ke dalam mesin MAX, yang menyiapkan dan mengoptimalkan grafnya untuk dieksekusi.

Setelah dimuat, Anda meneruskan input ke model dan MAX mengembalikan output, semuanya melalui pemanggilan sederhana dari kode Anda.

MAX dapat mengekspos model sebagai endpoint, sehingga aplikasi mana pun dapat mengirim permintaan melalui jaringan dan menerima prediksi.

Dalam penyajian, latensi adalah hal utama. Respons yang lebih cepat berarti pengguna lebih puas, dan MAX disetel untuk menjaga waktu respons tetap rendah.

Penyajian juga memperhatikan throughput: jumlah permintaan yang dapat Anda tangani per detik. Pengelompokan membantu MAX melayani banyak pengguna sekaligus.

Karena MAX portabel, model yang Anda sajikan secara lokal berjalan dengan cara yang sama pada GPU cloud, sehingga perpindahan ke produksi menjadi lebih mudah.

Operasi khusus Mojo apa pun yang Anda tulis ikut dibawa bersama model, sehingga kecepatan hasil penyetelan manual Anda juga muncul pada versi yang disajikan.

Untuk menangani lebih banyak lalu lintas, Anda menjalankan lebih banyak instans model yang disajikan, lalu menyebarkan permintaan di antaranya agar kinerjanya tetap stabil.

Hasilnya adalah alur yang jelas dari model terlatih menjadi deployment yang cepat dan andal, yang dapat diandalkan oleh aplikasi Anda. ✨

Anda telah berpindah dari model ke deployment: memuatnya ke MAX, menyajikannya melalui endpoint, lalu melakukan penskalaan untuk latensi rendah dan throughput tinggi. 🎯