인스턴스와 복제본 규모 적정화하기

대부분의 ML 서비스 비용은 거의 유휴 상태로 있는 인스턴스에서 발생합니다. 적정 규모 조정은 최악의 상황을 걱정해 정하는 것이 아니라 실제 부하에 맞춰 하드웨어와 복제본 수를 조정하는 것입니다.

측정하지 않은 것은 적정 규모로 조정할 수 없습니다. 먼저 평소 트래픽이 발생하는 하루 동안 실제 CPU 및 메모리 사용률을 관찰하십시오.

만약을 대비해 거대한 인스턴스를 선택하면 안전해 보이지만 매시간 비용이 낭비됩니다. 지속적으로 낮은 사용률은 과도한 프로비저닝의 가장 분명한 신호입니다.

평균 CPU 사용률이 15퍼센트 근처라면 인스턴스가 지나치게 큰 것입니다. 짧은 급증에 대비할 여유를 두고 건전한 목표 사용률을 설정하십시오.

수직 확장은 복제본 하나에 더 큰 머신을 제공합니다. 반면 수평 확장은 작은 복제본을 더 추가하며, 일반적으로 급증하는 트래픽을 더 잘 처리합니다.

Kubernetes에서 리소스 요청량은 각 복제본에 실제로 필요한 리소스가 얼마나 되는지 스케줄러에 알려 줍니다. 대략적인 추측이 아니라 관찰한 사용량을 기준으로 설정하십시오.

복제본이 너무 적으면 요청이 대기열에 쌓이고 응답이 느려집니다. 너무 많으면 비용을 지불하면서도 유휴 상태인 파드가 생깁니다. 최대 동시 부하에 맞춰 복제본 수를 정하십시오.

수평 파드 자동 확장기는 부하가 증가하면 복제본을 추가하고 감소하면 제거하므로, 수요가 적은 시간대의 용량에 비용을 지불하지 않아도 됩니다.

최소 복제본 수를 유지하면 몇 개의 파드가 준비된 상태로 남아 트래픽이 차갑고 비어 있는 서비스에 도달하지 않습니다. 이는 비용과 가용성 사이의 절충점입니다.

GPU 인스턴스는 CPU 인스턴스보다 몇 배나 비쌉니다. 모델에 정말 필요할 때만 GPU를 요청하고, 작업을 빽빽하게 배치하여 유휴 상태가 되지 않게 하십시오.

트래픽 패턴은 몇 주와 몇 달에 걸쳐 변합니다. 일정에 따라 인스턴스 유형과 복제본 수를 다시 검토하여 시스템 전체가 계속 적절한 규모를 유지하게 하십시오.

사용률을 측정하고 수직 확장과 수평 확장 중 하나를 선택했으며, 요청량을 설정하고 자동 확장을 추가했습니다. 이제 시스템 전체가 실제 수요에 맞춰졌습니다. 💸