Configure o dimensionamento automático e a simultaneidade

O dimensionamento automático adiciona instâncias de contêiner quando o tráfego aumenta e as remove quando ele diminui. Você atende aos picos sem pagar por máquinas ociosas. 📈

Concorrência é o número de solicitações que uma instância processa simultaneamente. É o controle que determina quando a plataforma adiciona mais instâncias.

A plataforma divide a carga recebida pela sua concorrência para dimensionar o conjunto de instâncias. Uma concorrência menor significa mais instâncias para o mesmo tráfego.

No Cloud Run, você limita as solicitações por instância com --concurrency. Ajuste esse valor de acordo com o número de chamadas que seu modelo consegue atender sem ficar mais lento.

Se cada predição exigir muito CPU, uma concorrência alta deixará todas as solicitações sem recursos. Defina uma concorrência baixa para que a plataforma distribua a carga entre mais instâncias.

Uma inundação de tráfego poderia criar instâncias indefinidamente e gerar uma conta enorme. Um limite de instâncias máximas protege seu orçamento e os bancos de dados downstream.

Com o número mínimo de instâncias definido como zero, a plataforma remove todos os contêineres quando estão ociosos. Você não paga nada entre as solicitações, mas precisa lidar com uma inicialização a frio.

Cada instância recebe a CPU e a memória solicitadas. Um modelo grande precisa de memória suficiente para ser carregado; caso contrário, o contêiner falha ao iniciar.

Quando todas as instâncias atingem seu limite de concorrência, as novas solicitações esperam em uma fila. O aumento do tempo na fila é o sinal de que você precisa expandir mais rapidamente.

Escolha as configurações com base em medições, não em suposições. Faça um teste de carga com tráfego crescente e observe a latência para encontrar a concorrência que mantém seu SLA.

A concorrência e os limites de instâncias trabalham juntos para equilibrar a latência e o custo. Ajuste ambos para atender aos usuários rapidamente sem gastar demais.

Você ajustou a concorrência, definiu o limite máximo de instâncias, dimensionou corretamente os recursos e fez testes de carga. Agora seu serviço escala de acordo com a demanda e o orçamento. ⚖️