Azure Machine Learning Studio

Azure Machine Learning (Azure ML), makine öğrenmesi yaşam döngüsünün tamamı için yönetilen bir bulut platformudur: veri hazırlama, deneme takibi, model eğitimi, değerlendirme, dağıtım ve izleme. Önceden oluşturulmuş AI sağlayan Azure AI Services'ın aksine Azure ML, scikit-learn, TensorFlow, PyTorch, XGBoost ve daha birçok ML çerçevesini kullanarak kendi verilerinizle kendi modellerinizi eğitmenize olanak tanır. Azure'da çalışan veri bilimcileri ve ML mühendisleri için tercih edilen platformdur.

Bir Azure ML çalışma alanı, tüm ML kaynaklarını bir araya getiren en üst düzey kaynaktır: işlem kümeleri, veri kümeleri, denemeler, modeller ve dağıtımlar. Bir çalışma alanı oluşturduğunuzda Azure, bağlı bir Storage hesabını (veriler için), Key Vault'u (gizli bilgiler için), Application Insights'ı (dağıtım izleme için) ve isteğe bağlı olarak bir Container Registry'yi (özel ortamlar için) otomatik olarak hazırlar. Bir ML projesindeki her şey tek bir çalışma alanında bulunur; bu da iş birliğini ve yönetişimi kolaylaştırır.

Azure ML Studio, ml.azure.com adresindeki Azure ML çalışma alanı için web tabanlı kullanıcı arayüzüdür. Çalışmaları şu bölümlerde düzenler: Notebooks (etkileşimli kodlama için Jupyter ortamı), Automated ML (kodsuz model eğitimi), Designer (sürükleyip bırakmalı işlem hattı oluşturucu), Jobs (eğitim çalıştırma geçmişi ve ölçümler), Models (model kayıt defteri), Endpoints (dağıtılmış model API'leri) ve Data (veri kümesi yönetimi). Studio, hem veri bilimcileri hem de ML mühendisleri için tasarlanmıştır.

Automated ML, algoritmaları ve hiperparametreleri seçmeye yönelik yinelemeli süreci otomatikleştirir. Etiketlenmiş bir veri kümesi sağlar, görev türünü (sınıflandırma, regresyon veya zaman serisi tahmini) belirtir, hedef sütunu seçer ve bir zaman bütçesi belirlersiniz. AutoML, yüzlerce model adayını paralel olarak eğitir, her birini değerlendirir ve sıralanmış bir liderlik tablosu sunar. En iyi model, model kayıt defterine otomatik olarak kaydedilir ve tek tıklamayla dağıtılabilir. Çalışan bir model elde etmek için ML uzmanlığı gerekmez.

Azure ML, eğitim ve çıkarım için birden fazla işlem hedefini destekler. İşlem örnekleri, etkileşimli not defteri geliştirmesi için kullanılan tek düğümlü, yönetilen sanal makineleridir. İşlem kümeleri, eğitim işleri için kullanılan, otomatik ölçeklenen çok düğümlü kümelerdir (boştayken 0'a kadar küçülür). Sunucusuz işlem için küme yönetmeniz gerekmez; bir iş gönderirsiniz ve Azure ML işlemi otomatik olarak seçip hazırlar. Çıkarım için yönetilen çevrimiçi uç noktalara (gerçek zamanlı), toplu uç noktalara veya Azure Kubernetes Service'e dağıtım yapabilirsiniz.

Azure ML, açık kaynaklı ML deneme takip kitaplığı olan MLflow ile tümleşiktir. mlflow.log_metric() ve mlflow.log_param() kullanarak ölçümleri, parametreleri ve yapıtları kaydettiğinizde Azure ML bunları çalışma alanının deneme geçmişinde otomatik olarak depolar. En iyi hiperparametre birleşimini belirlemek için Studio'da farklı denemelerdeki çalıştırmaları karşılaştırabilirsiniz. MLflow model günlüğe kaydetme özelliği (mlflow.sklearn.log_model()) modelleri doğrudan Azure ML model kayıt defterine de kaydeder.

Azure ML Studio, eğittiğiniz modeli adillik, yorumlanabilirlik ve hata analizi açısından inceleyen bir Sorumlu AI Panosu içerir. Hata analizi bileşeni, modelin en kötü performansı gösterdiği test veri kümesi alt gruplarını belirler. Yorumlanabilirlik bileşeni (SHAP veya LIME kullanarak), hangi özelliklerin model tahminlerini en fazla etkilediğini gösterir. Adillik değerlendirmesi, tahmin hatası oranlarının demografik gruplara göre farklılık gösterip göstermediğini denetler ve dağıtımdan önce ön yargıları belirleyip azaltmanıza yardımcı olur.

Eğitilmiş bir modeli gerçek zamanlı çıkarım için dağıtmak üzere Azure ML'de bir yönetilen çevrimiçi uç nokta oluşturursunuz. Bir uç noktasında bir veya daha fazla dağıtım bulunur; her dağıtım, kendine ait işlem yapılandırmasına sahip bir model sürümüdür. Modeli, bir puanlama betiğini (giriş noktası) ve işlem örneği türünü belirtirsiniz. Yeni model sürümlerini güvenli biçimde kullanıma almak için trafik dağıtımlar arasında bölünebilir (örneğin %90 maviye, %10 yeşile). Uç nokta, HTTPS REST API'si sunar.

Toplu uç noktalar, tek seferde bir kaydı puanlamak yerine büyük veri kümeleri üzerinde eşzamansız çıkarım çalıştırır. Bir giriş veri kümesine (Azure Blob Storage'da) işaret eden toplu bir iş gönderirsiniz; uç nokta bu işi bir işlem kümesinde paralel olarak işler. Sonuçlar bir çıkış konumuna yazılır. Toplu çıkarım; günlük müşteri kaybı tahmini çalıştırmaları, aylık kredi riski puanlaması veya yeni içerik yüklemelerinin gece görüntü sınıflandırması için idealdir. Bu senaryolarda istek başına gecikme kritik değildir, ancak işlem hacmi önemlidir.

Dağıtımdan sonra, gerçek dünya veri örüntüleri değiştikçe model doğruluğu zamanla düşebilir; bu olguya veri kayması veya model kayması denir. Azure ML, üretim çıkarım verilerini eğitim temel verileriyle karşılaştıran ve istatistiksel kayma bir eşiği aştığında uyarı veren model izleme özelliği sağlar. İzleme işlerini günlük veya haftalık olarak zamanlayabilirsiniz. Önemli bir kayma algılandığında bu, tahmin kalitesini korumak için modelin güncel verilerle yeniden eğitilmesi gerektiğine işaret eder.

Azure ML Pipelines, veri ön işleme, özellik mühendisliği, model eğitimi, değerlendirme ve koşullu dağıtım gibi çok adımlı ML iş akışlarını yeniden kullanılabilir, parametreleştirilmiş bir işlem hattı olarak düzenler. Her adım kendi işlem hedefinde çalışır. İşlem hatları zamanlanabilir (örneğin yeni verilerle haftalık yeniden eğitim), Azure Data Factory tarafından tetiklenebilir veya REST API aracılığıyla çağrılabilir. Yayımlanan işlem hatları çalışma alanında sürümlenir; böylece düzenlemeye tabi sektörlerde tekrarlanabilir ML denemeleri ve denetlenebilirlik sağlanır.

Bu derste ele alınan Microsoft Azure Fundamentals (AZ-900) kavramlarını anlayıp anlamadığınızı test edin.

Bu derste şunları öğrendiniz: Azure ML Studio, veriden dağıtılmış modele kadar tüm ML yaşam döngüsü için birleşik bir kullanıcı arayüzü sağlar; AutoML, ML uzmanlığı olmadan algoritma seçimini ve hiperparametre ayarlamasını otomatikleştirir; yönetilen çevrimiçi ve toplu uç noktalar, eğitilmiş modelleri gerçek zamanlı veya büyük ölçekli eşzamansız puanlama için REST API'leri olarak dağıtır. Sırada, büyük dil modellerini uygulamalara tümleştirmek için Azure OpenAI Service'i inceleyeceğiz.