Azure Machine Learning Studio

Azure Machine Learning (Azure ML) to zarządzana platforma chmurowa obsługująca cały cykl życia uczenia maszynowego — przygotowanie danych, śledzenie eksperymentów, trenowanie modeli, ocenę, wdrażanie i monitorowanie. W przeciwieństwie do usług Azure AI (które udostępniają gotową sztuczną inteligencję) Azure ML pozwala trenować własne modele na własnych danych z użyciem dowolnego frameworka ML, takiego jak scikit-learn, TensorFlow, PyTorch, XGBoost i innych. Jest to preferowana platforma dla analityków danych i inżynierów ML pracujących w środowisku Azure.

Obszar roboczy Azure ML to zasób najwyższego poziomu, który łączy wszystkie zasoby ML: klastry obliczeniowe, zestawy danych, eksperymenty, modele i wdrożenia. Podczas tworzenia obszaru roboczego platforma Azure automatycznie aprowizuje połączone konto Storage account (do przechowywania danych), usługę Key Vault (do przechowywania wpisów tajnych), usługę Application Insights (do monitorowania wdrożeń) oraz opcjonalnie usługę Container Registry (dla niestandardowych środowisk). Wszystkie elementy projektu ML znajdują się w jednym obszarze roboczym, co upraszcza współpracę i zarządzanie.

Azure ML Studio to internetowy interfejs użytkownika obszaru roboczego Azure ML dostępny pod adresem ml.azure.com. Organizuje pracę w sekcjach: Notebooks (środowisko Jupyter do interaktywnego programowania), Automated ML (trenowanie modeli bez użycia kodu), Designer (kreator potoków typu przeciągnij i upuść), Jobs (historia uruchomień treningu i dane pomiarowe), Models (rejestr modeli), Endpoints (interfejsy API wdrożonych modeli) oraz Data (zarządzanie zestawami danych). Studio jest przeznaczone zarówno dla analityków danych, jak i inżynierów ML.

Automated ML automatyzuje iteracyjny proces wyboru algorytmów i hiperparametrów. Należy dostarczyć oznaczony zestaw danych, określić typ zadania (klasyfikacja, regresja lub prognozowanie szeregów czasowych), wybrać kolumnę docelową i ustawić limit czasu. AutoML równolegle trenuje setki kandydatów na modele, ocenia każdy z nich i zwraca ranking. Najlepszy model jest automatycznie rejestrowany w rejestrze modeli i można go wdrożyć jednym kliknięciem. Do uzyskania działającego modelu nie jest wymagana specjalistyczna wiedza z zakresu ML.

Azure ML obsługuje wiele celów obliczeniowych używanych do trenowania i wnioskowania. Compute instances to zarządzane maszyny wirtualne z pojedynczym węzłem, przeznaczone do interaktywnej pracy nad notebookami. Compute clusters to automatycznie skalowane klastry wielowęzłowe (zmniejszane do 0 w czasie bezczynności), używane do zadań trenowania. Serverless compute nie wymaga zarządzania klastrem — wystarczy przesłać zadanie, a Azure ML automatycznie wybierze i aprowizuje zasoby obliczeniowe. Na potrzeby wnioskowania można wdrażać modele do managed online endpoints (działających w czasie rzeczywistym), batch endpoints lub usługi Azure Kubernetes Service.

Azure ML jest zintegrowane z biblioteką MLflow typu open source, służącą do śledzenia eksperymentów ML. Po zapisaniu danych pomiarowych, parametrów i artefaktów za pomocą mlflow.log_metric() oraz mlflow.log_param() Azure ML automatycznie przechowuje je w historii eksperymentów obszaru roboczego. W Studio można porównywać uruchomienia z różnych eksperymentów, aby znaleźć najlepszą kombinację hiperparametrów. Rejestrowanie modeli MLflow (mlflow.sklearn.log_model()) umożliwia także bezpośrednie dodawanie modeli do rejestru modeli Azure ML.

Azure ML Studio zawiera Responsible AI Dashboard, który analizuje wytrenowany model pod kątem sprawiedliwości, interpretowalności i analizy błędów. Komponent error analysis identyfikuje podgrupy zbioru testowego, dla których model działa najsłabiej. Komponent interpretability (z użyciem SHAP lub LIME) pokazuje, które cechy mają największy wpływ na predykcje modelu. Funkcja fairness assessment sprawdza, czy współczynniki błędów predykcji różnią się między grupami demograficznymi, pomagając zidentyfikować i ograniczyć stronniczość przed wdrożeniem.

Aby wdrożyć wytrenowany model do wnioskowania w czasie rzeczywistym, należy utworzyć w Azure ML managed online endpoint. Punkt końcowy ma co najmniej jedno deployment — każde wdrożenie jest wersją modelu z własną konfiguracją zasobów obliczeniowych. Należy określić model, skrypt scoringowy (punkt wejścia) i typ instancji obliczeniowej. Ruch można podzielić między wdrożenia (np. 90% do blue i 10% do green), aby bezpiecznie wdrażać nowe wersje modeli. Punkt końcowy udostępnia interfejs API REST przez HTTPS.

Batch endpoints przeprowadzają wnioskowanie asynchronicznie na dużych zestawach danych, zamiast oceniać pojedyncze rekordy. Należy przesłać zadanie wsadowe wskazujące wejściowy zestaw danych (w usłudze Azure Blob Storage), a punkt końcowy przetworzy go równolegle w klastrze obliczeniowym. Wyniki są zapisywane w lokalizacji wyjściowej. Wnioskowanie wsadowe sprawdza się w codziennym prognozowaniu rezygnacji klientów, comiesięcznej ocenie ryzyka kredytowego lub nocnej klasyfikacji obrazów z nowych przesłanych treści — w sytuacjach, w których opóźnienie pojedynczego żądania nie ma kluczowego znaczenia, ale istotna jest przepustowość.

Po wdrożeniu dokładność modelu może z czasem spadać, gdy zmieniają się wzorce danych ze świata rzeczywistego — zjawisko to nazywa się dryfem danych lub dryfem modelu. Azure ML udostępnia funkcję monitorowania modeli, która porównuje dane wnioskowania produkcyjnego z bazą treningową i wysyła alerty, gdy dryf statystyczny przekroczy określony próg. Zadania monitorowania można zaplanować codziennie lub co tydzień. Wykrycie znacznego dryfu sygnalizuje potrzebę ponownego trenowania modelu z użyciem najnowszych danych, aby utrzymać jakość predykcji.

Azure ML Pipelines organizują wieloetapowe przepływy pracy ML — wstępne przetwarzanie danych, inżynierię cech, trenowanie i ocenę modelu oraz warunkowe wdrażanie — w postaci wielokrotnego użytku, sparametryzowanego potoku. Każdy etap działa na własnym celu obliczeniowym. Potoki można uruchamiać według harmonogramu (np. co tydzień ponownie trenować model na nowych danych), wyzwalać za pomocą Azure Data Factory lub wywoływać przez interfejs API REST. Opublikowane potoki są wersjonowane w obszarze roboczym, co umożliwia odtwarzalne eksperymenty ML i zapewnia możliwość audytu w branżach regulowanych.

Sprawdź swoją znajomość zagadnień Microsoft Azure Fundamentals (AZ-900) omówionych w tej lekcji.

W tej lekcji poznali Państwo: Azure ML Studio zapewnia ujednolicony interfejs użytkownika dla całego cyklu życia ML — od danych po wdrożony model, AutoML automatyzuje wybór algorytmów i dostrajanie hiperparametrów bez wymagania specjalistycznej wiedzy z zakresu ML, a managed online and batch endpoints wdrażają wytrenowane modele jako interfejsy API REST do oceniania w czasie rzeczywistym lub asynchronicznego oceniania na dużą skalę. W następnej części omówimy Azure OpenAI Service, służącą do integrowania dużych modeli językowych z aplikacjami.