Çıkarım Gecikmesini Profilleyip Ayarlayın

Ölçmediğiniz bir şeyi ayarlayamazsınız. Ayarları değiştirmeden önce, güvendiğiniz bir yük altında gerçek gecikme ve throughput değerlerini kaydedin. 📏

Triton, modelinize istekler göndererek onu yoğun biçimde çalıştıran ve yapılandırmaları karşılaştırabilmeniz için gecikme ile throughput değerlerini raporlayan bir araç olan perf_analyzer ile birlikte gelir.

perf_analyzer aracını bir modele yönlendirirsiniz; araç yapay istekler gönderir, ardından saniyedeki çıkarım sayısını ve gecikme dökümünü yazdırır.

En kullanışlı seçenek, devam eden isteklerin sayısı olan eşzamanlılığı tarar. Yük arttıkça throughput ve gecikmenin nasıl değiştiğini ortaya çıkarır.

Eşzamanlılık arttıkça throughput yükselir ve sonra yataylaşır; gecikme ise artmaya devam eder. Bu eğrinin dirsek noktası, pratik çalışma noktanızdır.

Ortalamalar sorunları gizler. İsteklerin yüzde 95'inin altında kaldığı değer olan p95 gecikmesini izleyin; çünkü kullanıcıların gerçekten hissettiği, kuyruğun sonundaki gecikmedir.

Gecikme çok yüksekse max_queue_delay_microseconds değerini düşürün. Yoğun yük altında throughput çok düşükse daha dolu gruplar oluşturmak için bu değeri artırın.

GPU yeterince kullanılmıyorsa bir örnek ekleyin. Bellek yetersizse veya throughput duraklıyorsa bir örneği kaldırın. Her seferinde tek bir ayarı değiştirin ve yeniden ölçün.

Ayarlama bir sıçrama değil, bir döngüdür. Tek bir ayarı değiştirin, perf_analyzer aracını yeniden çalıştırın, karşılaştırın ve değişikliği yalnızca sayılar gerçekten iyileşiyorsa koruyun.

Önce bütçenize karar verin; örneğin p95 değerinin 50 ms'nin altında olması. Ardından bu sınırın içinde kalırken grup boyutunu ve örnek sayısını mümkün olduğunca artırın.

Sunucu ölçümleri hikâyenin tamamını anlatmaz. Ağ geçişleri ve istemci kodu süre ekler; bu nedenle kullanıcının bulunduğu noktadan uçtan uca gecikmeyi de ölçün.

Eşzamanlılığı taramak, p95 üzerinden throughput-gecikme eğrisini okumak ve bütçe dahilinde kuyruk gecikmesiyle örnekleri ayarlamak için perf_analyzer kullandınız; her seferinde tek bir değişiklik yaptınız. 🙌