Konfigurera autoskalning och samtidighet

Autoskalning lägger till containerinstanser när trafiken ökar och tar bort dem när den minskar. Ni kan hantera trafiktoppar utan att betala för inaktiva maskiner. 📈

Concurrency anger hur många förfrågningar en instans hanterar samtidigt. Det är reglaget som avgör när plattformen lägger till fler instanser.

Plattformen delar den inkommande belastningen med din concurrency för att beräkna hur många instanser som behövs. Lägre concurrency innebär fler instanser för samma trafik.

I Cloud Run begränsar du antalet förfrågningar per instans med --concurrency. Anpassa värdet efter hur många anrop din modell kan hantera utan att bli långsammare.

Om varje prediktion kräver mycket CPU svälter hög concurrency ut varje förfrågan på resurser. Ange ett lågt värde så att plattformen fördelar belastningen över fler instanser.

En trafikflod kan skapa oändligt många instanser och en enorm kostnad. En gräns för max instances skyddar din budget och underliggande databaser.

När minsta antalet instanser är noll tar plattformen bort alla containrar när de är inaktiva. Du betalar ingenting mellan förfrågningar, men får i stället en cold start.

Varje instans får den CPU och det minne du begär. En stor modell behöver tillräckligt med minne för att läsas in, annars kraschar containern vid starten.

När alla instanser har nått sin concurrency-gräns får nya förfrågningar vänta i en kö. En ökande kötid visar att du behöver skala ut snabbare.

Välj inställningar genom att mäta, inte gissa. Belastningstesta ökande trafik och övervaka svarstiden för att hitta den concurrency som uppfyller ditt SLA.

Concurrency och instansbegränsningar samverkar för att balansera svarstid mot kostnad. Anpassa båda så att användarna får snabba svar utan onödiga utgifter.

Du anpassade concurrency, begränsade det maximala antalet instanser, anpassade resurserna och belastningstestade. Nu skalar tjänsten efter efterfrågan och budget. ⚖️