추론 지연 시간 프로파일링하고 조정하기

측정하지 않은 것은 조정할 수 없습니다. 설정을 변경하기 전에 신뢰할 수 있는 부하에서 실제 지연 시간과 처리량을 측정하십시오. 📏

Triton에는 perf_analyzer가 포함되어 있습니다. 이 도구는 요청을 모델에 집중적으로 보내고 지연 시간과 처리량을 보고하므로 구성을 비교할 수 있습니다.

perf_analyzer에서 모델을 지정하면 합성 요청을 보낸 뒤 초당 추론 수와 지연 시간 분석 결과를 출력합니다.

가장 유용한 플래그는 동시성을 변화시키는 플래그입니다. 동시성은 처리 중인 요청 수를 뜻하며, 부하가 증가할 때 처리량과 지연 시간이 어떻게 변하는지 보여 줍니다.

동시성이 증가하면 처리량은 오르다가 평평해지는 반면 지연 시간은 계속 늘어납니다. 이 곡선의 무릎 지점이 실용적인 운영 지점입니다.

평균은 문제를 감춥니다. 요청의 95%가 이 값보다 빠르게 처리되는 p95 지연 시간을 확인하십시오. 사용자가 실제로 체감하는 것은 꼬리 지연 시간이기 때문입니다.

지연 시간이 너무 높으면 max_queue_delay_microseconds를 낮추십시오. 부하가 클 때 처리량이 너무 낮다면 값을 높여 더 가득 찬 배치를 구성하십시오.

GPU 사용률이 낮으면 인스턴스를 추가하십시오. 메모리가 부족하거나 처리량이 정체되면 하나 줄이십시오. 한 번에 하나의 설정만 변경하고 다시 측정하십시오.

조정은 도약이 아니라 반복 과정입니다. 하나의 설정만 변경하고 perf_analyzer를 다시 실행한 뒤 결과를 비교하십시오. 수치가 실제로 개선된 경우에만 변경을 유지하십시오.

먼저 예산을 정하십시오. 예를 들어 p95를 50ms 미만으로 설정할 수 있습니다. 그런 다음 이 한도 안에서 배치 크기와 인스턴스 수를 가능한 한 높이십시오.

서버 수치만으로는 전체 상황을 알 수 없습니다. 네트워크 구간과 클라이언트 코드도 시간을 추가하므로 사용자가 있는 위치에서 측정한 종단 간 지연 시간도 확인하십시오.

perf_analyzer로 동시성 범위를 확인하고 p95에서 처리량과 지연 시간 곡선을 읽었으며, 예산 안에서 한 번에 하나씩 변경해 대기열 지연 시간과 인스턴스를 조정했습니다. 🙌