자동 확장과 동시성 설정하기

자동 확장은 트래픽이 증가하면 컨테이너 인스턴스를 추가하고, 감소하면 제거합니다. 유휴 머신에 비용을 지불하지 않고도 급증하는 트래픽을 처리할 수 있습니다. 📈

동시성은 하나의 인스턴스가 동시에 처리하는 요청 수입니다. 플랫폼이 인스턴스를 더 추가하는 시점을 결정하는 조절값입니다.

플랫폼은 들어오는 부하를 동시성으로 나누어 필요한 인스턴스 수를 계산합니다. 같은 트래픽이라면 동시성이 낮을수록 더 많은 인스턴스가 필요합니다.

Cloud Run에서는 --concurrency로 인스턴스당 요청 수의 상한을 설정합니다. 모델이 지연 없이 처리할 수 있는 호출 수에 맞게 조정하십시오.

각 예측이 CPU를 많이 사용한다면 동시성이 높을 때 모든 요청의 자원이 부족해집니다. 플랫폼이 부하를 더 많은 인스턴스에 분산하도록 값을 낮게 설정하십시오.

트래픽이 급증하면 인스턴스가 끝없이 늘어나 막대한 비용이 발생할 수 있습니다. 최대 인스턴스 수의 상한은 예산과 downstream 데이터베이스를 보호합니다.

최소 인스턴스 수를 0으로 설정하면 유휴 상태일 때 플랫폼이 모든 컨테이너를 제거합니다. 콜드 스타트를 감수하는 대신 요청 사이에는 비용을 지불하지 않습니다.

각 인스턴스에는 요청한 CPU와 메모리가 할당됩니다. 큰 모델을 로드하려면 충분한 메모리가 필요하며, 그렇지 않으면 컨테이너가 시작 중에 중단됩니다.

모든 인스턴스가 동시성 상한에 도달하면 새 요청은 대기열에서 기다립니다. 대기열 시간이 늘어나는 것은 더 빠르게 확장해야 한다는 신호입니다.

추측하지 말고 측정하여 설정을 선택하십시오. 트래픽을 늘려 가며 부하 테스트를 수행하고 지연 시간을 확인하여 SLA를 충족하는 동시성을 찾으십시오.

동시성과 인스턴스 제한은 함께 작동하여 지연 시간과 비용의 균형을 맞춥니다. 두 값을 조정하여 과도한 비용 없이 사용자에게 빠르게 서비스를 제공하십시오.

동시성을 조정하고 최대 인스턴스 수를 제한했으며, 리소스 크기를 적정하게 설정하고 부하 테스트를 수행했습니다. 이제 서비스가 수요와 예산에 맞춰 확장됩니다. ⚖️