Konfigurasikan Batching Dinamis di Triton

Triton memuat model dari repositori model, yaitu folder tempat setiap model memiliki subfolder sendiri yang menyimpan bobot dan file konfigurasi.

Setiap model mendapatkan config.pbtxt di samping folder versinya. File teks ini memberi tahu Triton tentang input, output, dan cara menjadwalkan permintaan.

Anda mengaktifkan batching dengan menambahkan blok dynamic_batching ke config.pbtxt. Dengan blok kosong, Triton langsung menggunakan nilai bawaan yang sesuai.

Di tingkat teratas, Anda mengatur max_batch_size. Nilai ini membatasi jumlah permintaan yang akan digabungkan Triton dalam satu pemanggilan inferensi, sehingga penggunaan memori dan latensi tetap terkendali.

Pengaturan pentingnya adalah max_queue_delay_microseconds. Pengaturan ini menentukan berapa lama Triton menunggu sambil mengumpulkan permintaan sebelum menjalankan batch yang belum penuh.

Penundaan singkat menjaga latensi tetap rendah, tetapi membentuk batch yang lebih kecil saat beban ringan. Penundaan yang lebih lama membentuk batch yang lebih besar dengan konsekuensi waktu tunggu yang lebih panjang.

Anda dapat memberi petunjuk tentang ukuran yang efisien dengan preferred_batch_size. Triton berusaha menyusun batch dengan ukuran ini, yang sering kali sesuai dengan ukuran yang dapat dijalankan model paling cepat.

Triton menahan permintaan yang masuk dalam sebuah antrean. Triton menjalankannya ketika batch mencapai ukuran maksimum, sesuai dengan ukuran yang diutamakan, atau waktu tunda antrean habis.

Hal terbaiknya adalah klien tetap mengirim permintaan tunggal. Triton menggabungkannya di server, sehingga kode aplikasi Anda tetap persis sama.

Setelah mengedit config.pbtxt, Anda memuat ulang model agar Triton mengambil jadwal baru, baik dengan memulai ulang maupun melalui API kontrol model.

Mulailah dengan max_batch_size yang sedang dan penundaan antrean yang sangat singkat, lalu naikkan nilainya sambil mengamati latensi. Penyesuaian berdasarkan pengukuran lebih baik daripada menebak.

Anda mengaktifkan dynamic_batching di config.pbtxt, membatasinya dengan max_batch_size, serta menyesuaikan penundaan antrean dan ukuran yang diutamakan, semuanya tanpa menyentuh klien. 🙌