Triton'da Dinamik Toplu İşlemeyi Yapılandırın

Triton, modelleri bir model deposundan yükler. Bu depo, her modelin ağırlıkları ve bir yapılandırma dosyasını içeren kendine ait bir alt klasörünün bulunduğu bir klasördür.

Her modelin sürüm klasörünün yanında bir config.pbtxt dosyası bulunur. Bu metin dosyası Triton'a girdileri, çıktıları ve isteklerin nasıl zamanlanacağını bildirir.

Gruplamayı etkinleştirmek için config.pbtxt dosyasına bir dynamic_batching bloğu eklersiniz. Boş bir blokla Triton hemen makul varsayılanları kullanır.

Üst düzeyde max_batch_size değerini belirlersiniz. Bu değer, Triton'un tek bir çıkarım çağrısında birleştireceği istek sayısını sınırlar ve bellek ile gecikmeyi kontrol altında tutar.

Temel ayar max_queue_delay_microseconds değeridir. Triton'un istekleri toplarken, henüz dolmamış bir grubu çalıştırmadan önce ne kadar bekleyeceğini belirler.

Kısa bir gecikme, gecikme süresini düşük tutar ancak düşük yük altında daha küçük gruplar oluşturur. Daha uzun bir gecikme, daha fazla bekleme karşılığında daha büyük gruplar oluşturur.

preferred_batch_size ile verimli boyutları önerebilirsiniz. Triton, çoğu zaman modelin en hızlı çalıştığı boyutlara karşılık gelen bu boyutlarda gruplar oluşturmaya çalışır.

Triton gelen istekleri bir kuyrukta tutar. Grup en büyük boyuta ulaştığında, tercih edilen bir boyutla eşleştiğinde veya kuyruk gecikmesi dolduğunda çalıştırır.

En iyi yanı, istemcilerin hâlâ tekil istekler göndermesidir. Triton bunları sunucuda birleştirir; böylece uygulama kodunuz tamamen aynı kalır.

config.pbtxt dosyasını düzenledikten sonra Triton'un yeni zamanlamayı alması için modeli yeniden yüklersiniz. Bunu yeniden başlatarak veya model denetim API'si üzerinden yapabilirsiniz.

Makul bir max_batch_size ve çok küçük bir kuyruk gecikmesiyle başlayın, ardından gecikme süresini izleyerek bunları artırın. Ölçerek ayarlamak, tahminde bulunmaktan daha iyi sonuç verir.

config.pbtxt içinde dynamic_batching özelliğini etkinleştirdiniz, max_batch_size ile sınırlandırdınız ve istemciye dokunmadan kuyruk gecikmesiyle tercih edilen boyutları ayarladınız. 🙌