MLOps Academy · Ders

Sıfıra ve Yeniden Ölçeklendirin

İstek odaklı otomatik ölçeklendirmeyle maliyeti azaltın.

2. ders / 413 adım

Sıfıra ve Yeniden Ölçeklendirin, CoddyKit'te ücretsiz bir MLOps Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, MLOps Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. MLOps Academy kursu toplamda 4 dersten oluşur.

Boşta Duran Modeller Maliyetlidir

Hiç trafik almadan duran bir model Pod'u CPU'yu, belleği ve bulut bütçenizi tüketmeye devam eder. KServe, boşta duran bir hizmeti tamamen küçültebilir. Sıfıra ölçekleme bu israfı durdurur. 💸

Knative Tarafından Desteklenir

KServe'in sunucusuz modu, istek hacmini izleyen ve kopya sayısını ayarlayan Knative üzerinde çalışır. Trafik durduğunda bu hizmete ait tüm Pod'ları kaldırabilir.

İstek Odaklı Otomatik Ölçekleme

Kopya sayısı sabit bir programa değil, talebe göre değişir. İstekler arttıkça KServe Pod ekler, azaldıkça ölçeği küçültür. Bu, istek odaklı otomatik ölçeklemenin işleyişidir.

minReplicas Değerini Sıfıra Ayarlama

Tamamen küçülmeye izin vermek için predictor belirtiminde minReplicas değerini 0 olarak ayarlarsınız. Sıfıra izin verildiğinde boşta duran hizmette hiç çalışan Pod kalmaz.

spec:
  predictor:
    minReplicas: 0
    model:
      modelFormat:
        name: sklearn

Eşzamanlılık Hedefi

Otomatik ölçekleyici, her Pod başına aynı anda işlenen istekler için bir hedef sayıya ulaşmayı amaçlar. Bu eşzamanlılık hedefi, yük altındayken KServe'in ne kadar hızlı kopya ekleyeceğini belirler.

metadata:
  annotations:
    autoscaling.knative.dev/target: "10"

Yeniden Ölçekleme

Sıfıra ölçeklenmiş bir hizmete istek geldiğinde Knative isteğe bağlı olarak bir Pod başlatır. Pod hazır olur olmaz trafik devam eder; dolayısıyla yukarı ölçekleme otomatik gerçekleşir.

Soğuk Başlatma Maliyeti

Sıfırdan sonraki ilk istek, Pod'un başlamasını ve modeli yüklemesini beklemek zorundadır. Bu gecikme, sıfıra ölçeklemenin temel ödünleşimi olan soğuk başlatmadır. ⏱️

Sıfıra Ölçekleme Ne Zaman Mantıklıdır

Sıfıra ölçekleme, boşta kalma süresinin baskın olduğu ani veya seyrek iş yüklerinde çok etkilidir. Sürekli ve gecikmeye duyarlı trafikte soğuk başlatma cezası buna değmeyebilir.

Bunun Yerine Birini Sıcak Tutun

Soğuk başlatmalar sorun yaratıyorsa minReplicas değerini 1 olarak ayarlayarak bir Pod'un her zaman canlı kalmasını sağlayın. Kesinlikle sunmaya hazır sıcak bir örnek karşılığında küçük bir maliyeti göze alırsınız.

spec:
  predictor:
    minReplicas: 1

Üst Sınırı Belirleyin

Trafik artışının küme bütçenizi aşmaması için büyümeyi maxReplicas ile de sınırlayabilirsiniz. Bu değer, otomatik ölçekleyiciye bir üst sınır koyar.

spec:
  predictor:
    minReplicas: 0
    maxReplicas: 5

Ölçeklenmesini İzleyin

Trafikle birlikte Pod'ların ortaya çıkıp kaybolmasını izleyerek davranışı doğrulayabilirsiniz. Boşta kaldığında Pod sayısı sıfıra iner, istekler geldiğinde yeniden yükselir.

kubectl get pods -l serving.kserve.io/inferenceservice=sklearn-iris -w

Hızlı Denetim

Bir hizmetin sıfıra ölçeklenmesine izin vermenin temel dezavantajı nedir?

İnteraktif derste cevapla

Özet

minReplicas: 0 ayarının KServe'in boşta duran modelleri talep üzerine sıfıra ve yeniden yukarı ölçeklemesini sağladığını gördünüz. maxReplicas ile sınır koyun; soğuk başlatmalar sorun yaratıyorsa bir örneği sıcak tutun. Harika ilerleme! 🎉

Başlamak ücretsiz

Yapay zeka eğitmeniyle Python öğren — ücretsiz

Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.

Kurslar: 30
Dersler: 120

Ücretsiz öğrenmeye başla Tüm kursu görüntüle

Sıkça Sorulan Sorular

“Sıfıra ve Yeniden Ölçeklendirin” dersi ücretsiz mi?

Evet — “Sıfıra ve Yeniden Ölçeklendirin” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve MLOps Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. MLOps Academy kursu toplamda 4 dersten oluşur.

“Sıfıra ve Yeniden Ölçeklendirin” dersinde ne öğreneceğim?

İstek odaklı otomatik ölçeklendirmeyle maliyeti azaltın. MLOps Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

MLOps Academy öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te MLOps Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.

“Sıfıra ve Yeniden Ölçeklendirin” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu MLOps Academy dersinde kod yazıp çalıştırabilir miyim?

Evet. Her MLOps Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

← MLOps Academy Sayfasına Dön