Otomatik Ölçeklendirme ve Eşzamanlılığı Yapılandırın

Otomatik ölçeklendirme, trafik arttığında konteyner örnekleri ekler ve azaldığında kaldırır. Boşta makineler için ödeme yapmadan ani yoğunluklara hizmet verirsiniz. 📈

Eşzamanlılık, tek bir örneğin aynı anda kaç isteği işlediğidir. Platformun ne zaman daha fazla örnek ekleyeceğini belirleyen ayardır.

Platform, filo boyutunu belirlemek için gelen yükü eşzamanlılık değerinize böler. Daha düşük eşzamanlılık, aynı trafik için daha fazla örnek anlamına gelir.

Cloud Run'da --concurrency ile örnek başına istek sayısını sınırlandırabilirsiniz. Modelinizin yavaşlamadan işleyebileceği çağrı sayısına göre ayarlayın.

Her tahmin CPU'yu yoğun kullanıyorsa yüksek eşzamanlılık, her isteğin kaynak beklemesine yol açar. Platformun yükü daha fazla örneğe dağıtması için değeri düşük ayarlayın.

Bir trafik seli, sınırsız sayıda örnek başlatıp çok yüksek bir faturaya yol açabilir. maksimum örnek sınırı bütçenizi ve alt sistem veritabanlarınızı korur.

Minimum örnek sayısı sıfırken platform, boşta kaldığında tüm kapsayıcıları kaldırır. soğuk başlatma karşılığında istekler arasında hiçbir ücret ödemezsiniz.

Her örnek, istediğiniz CPU ve belleği alır. Büyük bir modelin yüklenebilmesi için yeterli belleğe ihtiyacı vardır; aksi hâlde kapsayıcı başlangıçta çöker.

Tüm örnekler eşzamanlılık sınırına ulaştığında yeni istekler bir kuyrukta bekler. Kuyruk süresinin artması, daha hızlı dışa doğru ölçeklendirmeniz gerektiğini gösterir.

Ayarları tahmin ederek değil, ölçerek seçin. Artan trafiğe yük testi uygulayın ve SLA'nızı karşılayan eşzamanlılık değerini bulmak için gecikmeyi izleyin.

Eşzamanlılık ve örnek sınırları, gecikme ile maliyeti dengelemek için birlikte çalışır. Fazla harcama yapmadan kullanıcılara hızlı hizmet vermek için ikisini de ayarlayın.

Eşzamanlılığı ayarladınız, maksimum örnek sayısını sınırladınız, kaynakları doğru boyutlandırdınız ve yük testi yaptınız. Hizmetiniz artık talebe ve bütçeye göre ölçekleniyor. ⚖️