Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme
Model performansı panoları, veri kayması uyarıları, geri bildirim döngüleri, gölge modunda dağıtım.
Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme, CoddyKit'te ücretsiz bir Learn AI with Python dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Learn AI with Python öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Learn AI with Python kursu toplamda 4 dersten oluşur.
Makine Öğrenimi Sistemleri Neden İzlenir
Dağıtılmış bir modelle iş bitmez. Trafik artışları yaşanır, gecikme yavaşça yükselir ve dünya değiştikçe veriler eğitim verilerinden uzaklaşır. Gözlemlenebilirlik, kullanıcılar sorun yaşamadan önce sistemin sağlıklı olup olmadığını ve modelin hâlâ doğru çalışıp çalışmadığını gösterir.
İki Tür İzleme
Makine öğrenimi gözlemlenebilirliği iki katmanı kapsar:
- Operasyonel: gecikme, işlem hacmi, hatalar ve kaynak kullanımı (her hizmette olduğu gibi)
- Model: veri kayması, tahmin dağılımı ve zaman içindeki doğruluk (makine öğrenimine özgü)
Metrikler için Prometheus
Prometheus, zaman serisi metriklerini toplamak için kullanılan standart sistemdir. Hizmetiniz bir metrik uç noktası sunar; Prometheus belirli aralıklarla bu uç noktadan verileri toplar ve değerleri sorgulama ile uyarı verme amacıyla saklar.
Gecikmeyi Ölçümleme
Çıkarım gecikmesini bir Prometheus histogramıyla kaydedersiniz. Histogramlar, gecikmeyi özetlemenin doğru yolu olan yüzdelik dilimleri hesaplamanızı sağlar; yanıltıcı bir ortalama kullanmak zorunda kalmazsınız.
from prometheus_client import Histogram
INFER_LATENCY = Histogram(
"inference_latency_seconds",
"Model inference latency",
)
@INFER_LATENCY.time()
def predict(x):
return model(x)P50 ve P95 Gecikmesi
Gecikmeyi yüzdelik dilimleriyle raporlayın. P50 (ortanca), tipik deneyimi gösterir; P95, isteklerin %5'inin aştığı yavaş uç noktadır. P95'i izlemek, ortalamanın gizlediği sorunları yakalar; çünkü birkaç yavaş istek bile kullanıcıları olumsuz etkiler.
Grafana Panoları
Grafana, Prometheus metriklerini canlı panolar olarak görselleştirir. Bir model panosu genellikle istek hızını, hata oranını, P50/P95 gecikmesini ve tahmin dağılımını tek ekranda göstererek sistemin durumunu bir bakışta görmenizi sağlar.
Veri Kayması Nedir
Veri kayması, canlı girdi dağılımı eğitim dağılımından uzaklaştığında meydana gelir. Model eski örüntülere göre fit edildiği için girdiler kaydıkça hiçbir kod değişmemiş olsa bile doğruluğu sessizce azalır.
Popülasyon Kararlılık İndeksi
Popülasyon Kararlılık İndeksi (PSI), bir özelliğin mevcut dağılımını eğitim sırasındaki dağılımıyla karşılaştırarak kaymayı nicelendirir. Her iki dağılımı aralıklara ayırır ve aralıklar arasındaki ağırlıklı logaritmik oranları toplar.
# PSI = sum over bins of
# (actual_pct - expected_pct) * ln(actual_pct / expected_pct)PSI'yi Yorumlama
Geleneksel PSI eşikleri:
- PSI < 0.1: önemli bir kayma yok
- 0.1 ile 0.2 arası: orta düzeyde kayma, inceleyin
- PSI > 0.2: önemli kayma, modelin yeniden eğitilmesi olasıdır
PSI 0.2'yi geçtiğinde uyarı oluşturmak yaygın bir uygulamadır.
Geri Bildirim Döngüsü
En değerli izleme sinyali gerçek sonuçlardır. Bir geri bildirim döngüsü, kullanıcı düzeltmelerini ve gerçek sonuç etiketlerini (örneğin öneri tıklandı mı, dolandırıcılık işareti doğru muydu) toplar ve bunları yeni eğitim verileri olarak sisteme geri besler.
Yeniden Eğitimle Döngüyü Tamamlama
Kayma tespiti ve geri bildirim döngüsü birlikte yeniden eğitimi tetikler: PSI eşiği geçtiğinde veya yeni etiketler üzerindeki doğruluk düştüğünde işlem hattı yakın tarihli verilerle yeniden eğitim yapar ve modeli yeniden dağıtır. Böylece model değişen dünyayla uyumlu kalır.
Hızlı Sınama
Gözlemlenebilirlik bilginizi sınayın.
Özet
Yapay zekâ sistemi gözlemlenebilirliğini ve izlemeyi öğrendiniz:
- Prometheus metrikleri toplar; çıkarım gecikmesini P50/P95 olarak raporlayın
- Grafana panoları sistemin durumunu bir bakışta görselleştirir
- Veri kayması PSI ile ölçülür; PSI > 0.2 yeniden eğitim gerektiği anlamına gelir
- Bir geri bildirim döngüsü, kullanıcı düzeltmelerini yeniden eğitim verilerine dönüştürür
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 53
- Dersler
- 225
Sıkça Sorulan Sorular
“Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme” dersi ücretsiz mi?
Evet — “Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Learn AI with Python kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Learn AI with Python kursu toplamda 4 dersten oluşur.
“Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme” dersinde ne öğreneceğim?
Model performansı panoları, veri kayması uyarıları, geri bildirim döngüleri, gölge modunda dağıtım. Learn AI with Python ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Learn AI with Python öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Learn AI with Python, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Learn AI with Python dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Learn AI with Python dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Yapay Zeka Sistemi Mimari Kalıpları
- Airflow ile Ölçeklenebilir Makine Öğrenmesi İşlem Hatları
- Özellik Depoları: Feast ve Tecton
- Yapay Zeka Sistemi Gözlemlenebilirliği ve İzleme