Triton에서 동적 배칭 설정하기

Triton은 모델 저장소에서 모델을 불러옵니다. 모델 저장소는 각 모델이 고유한 하위 폴더를 가지며, 그 안에 가중치와 구성 파일을 보관하는 폴더입니다.

각 모델에는 버전 폴더 옆에 config.pbtxt가 있습니다. 이 텍스트 파일은 Triton에 입력과 출력, 그리고 요청을 예약하는 방법을 알려 줍니다.

config.pbtxt에 dynamic_batching 블록을 추가하면 배치 처리를 켤 수 있습니다. 빈 블록만 추가해도 Triton이 즉시 합리적인 기본값을 사용합니다.

최상위 수준에서 max_batch_size를 설정합니다. 이 값은 Triton이 하나의 추론 호출로 합칠 수 있는 요청 수의 상한을 정해 메모리와 지연 시간을 제한합니다.

핵심 설정은 max_queue_delay_microseconds입니다. 이는 Triton이 요청을 모으면서 아직 가득 차지 않은 배치를 실행하기 전에 기다리는 시간입니다.

짧은 지연 시간을 설정하면 지연 시간은 낮아지지만 부하가 적을 때 더 작은 배치가 만들어집니다. 더 긴 지연 시간은 더 많이 기다리는 대신 더 큰 배치를 구성합니다.

preferred_batch_size를 사용해 효율적인 크기를 지정할 수 있습니다. Triton은 이 크기의 배치를 구성하려고 하며, 이는 대개 모델이 가장 빠르게 실행되는 크기와 일치합니다.

Triton은 들어오는 요청을 대기열에 보관합니다. 배치가 최대 크기에 도달하거나 선호 크기와 일치하거나 대기열 지연 시간이 만료되면 배치를 실행합니다.

가장 좋은 점은 클라이언트가 계속 단일 요청을 보낸다는 것입니다. Triton이 서버에서 요청을 합치므로 애플리케이션 코드는 그대로 유지됩니다.

config.pbtxt를 편집한 후에는 모델을 다시 불러와야 Triton이 새 예약 설정을 적용합니다. 서버를 다시 시작하거나 모델 제어 API를 사용하면 됩니다.

적당한 max_batch_size와 아주 짧은 대기열 지연 시간으로 시작한 다음, 지연 시간을 지켜보며 값을 높이십시오. 추측보다 측정에 기반한 조정이 더 효과적입니다.

config.pbtxt에서 dynamic_batching을 활성화하고 max_batch_size로 상한을 정했으며, 클라이언트를 수정하지 않고 대기열 지연 시간과 선호 크기를 조정했습니다. 🙌