Profilowanie i dostrajanie opóźnienia predykcji

Nie da się dostroić czegoś, czego się nie mierzy. Zanim zmienisz ustawienia, zbierz rzeczywiste wartości opóźnienia i przepustowości przy wiarygodnym obciążeniu. 📏

Do Tritona dołączone jest narzędzie perf_analyzer, które intensywnie wysyła żądania do modelu i raportuje opóźnienie oraz przepustowość, aby można było porównywać konfiguracje.

Wskazujesz model narzędziu perf_analyzer, a ono wysyła syntetyczne żądania, po czym wyświetla liczbę inferencji na sekundę oraz zestawienie opóźnienia.

Najbardziej przydatna opcja testuje różne wartości współbieżności, czyli liczby żądań obsługiwanych jednocześnie. Pokazuje, jak zmieniają się przepustowość i opóźnienie wraz ze wzrostem obciążenia.

Wraz ze wzrostem współbieżności przepustowość rośnie, a następnie się wypłaszcza, podczas gdy opóźnienie nadal rośnie. Punkt załamania tej krzywej to praktyczny punkt pracy.

Średnie wartości ukrywają problemy. Obserwuj opóźnienie p95 — wartość, poniżej której mieści się czas obsługi 95 procent żądań — ponieważ to opóźnienie na końcu rozkładu odczuwają użytkownicy.

Jeśli opóźnienie jest zbyt wysokie, zmniejsz max_queue_delay_microseconds. Jeśli przy dużym obciążeniu przepustowość jest zbyt niska, zwiększ tę wartość, aby tworzyć pełniejsze partie.

Jeśli GPU jest niedostatecznie wykorzystywany, dodaj instancję. Jeśli brakuje pamięci lub przepustowość przestaje rosnąć, usuń jedną. Zmieniaj jeden parametr naraz i ponownie wykonuj pomiary.

Strojenie to pętla, a nie pojedynczy skok. Zmień jedno ustawienie, ponownie uruchom perf_analyzer, porównaj wyniki i zachowaj zmianę tylko wtedy, gdy wartości rzeczywiście się poprawią.

Najpierw określ swój budżet, na przykład p95 poniżej 50 ms. Następnie zwiększaj rozmiar partii i liczbę instancji tak bardzo, jak to możliwe, pozostając w tym limicie.

Wyniki serwera nie pokazują pełnego obrazu. Przeskoki sieciowe i kod klienta również dodają czas, dlatego mierz także opóźnienie od końca do końca z miejsca, w którym znajduje się użytkownik.

Użyłeś narzędzia perf_analyzer do przetestowania różnych poziomów współbieżności, odczytałeś krzywą przepustowości i opóźnienia dla p95 oraz dostroiłeś opóźnienie kolejki i liczbę instancji w ramach ustalonego budżetu, zmieniając jedną rzecz naraz. 🙌