Azure Machine Learning Studio

Azure Machine Learning (Azure ML) is een beheerd cloudplatform voor de volledige levenscyclus van machine learning: gegevensvoorbereiding, het bijhouden van experimenten, modeltraining, evaluatie, implementatie en monitoring. In tegenstelling tot Azure AI Services (die vooraf gebouwde AI bieden), laat Azure ML je je eigen modellen trainen met je eigen gegevens en elk ML-framework gebruiken, zoals scikit-learn, TensorFlow, PyTorch, XGBoost en meer. Het is het voorkeursplatform voor datawetenschappers en ML-engineers die in Azure werken.

Een Azure ML-werkruimte is de bron op het hoogste niveau die alle ML-resources samenbrengt: rekenclusters, gegevenssets, experimenten, modellen en implementaties. Wanneer je een werkruimte maakt, richt Azure automatisch een gekoppeld Storage-account (voor gegevens), Key Vault (voor geheimen), Application Insights (voor monitoring van implementaties) en optioneel een Container Registry (voor aangepaste omgevingen) in. Alles in een ML-project bevindt zich in één werkruimte, waardoor samenwerking en governance eenvoudig blijven.

Azure ML Studio is de webinterface voor de Azure ML-werkruimte op ml.azure.com. De interface ordent het werk in secties: Notebooks (Jupyter-omgeving voor interactief programmeren), Automated ML (modeltraining zonder code), Designer (bouwer voor slepen-en-neerzetten-pijplijnen), Jobs (geschiedenis en metrische gegevens van trainingsruns), Models (modellenregister), Endpoints (API's voor geïmplementeerde modellen) en Data (beheer van gegevenssets). Studio is bedoeld voor zowel datawetenschappers als ML-engineers.

Automated ML automatiseert het iteratieve proces van algoritmen en hyperparameters selecteren. Je levert een gelabelde gegevensset aan, geeft het taaktype op (classificatie, regressie of tijdreeksvoorspelling), selecteert de doelkolom en stelt een tijdslimiet in. AutoML traint honderden kandidaatmodellen parallel, evalueert elk model en geeft een gerangschikte ranglijst terug. Het beste model wordt automatisch geregistreerd in het modellenregister en kan met één klik worden geïmplementeerd. Je hebt geen ML-expertise nodig om een werkend model te krijgen.

Azure ML ondersteunt meerdere rekendoelen voor training en inferentie. Rekeninstanties zijn beheerde VM's met één knooppunt voor interactieve ontwikkeling met notebooks. Rekenclusters zijn automatisch schalende clusters met meerdere knooppunten (ze schalen naar 0 wanneer ze niet actief zijn) die voor trainingstaken worden gebruikt. Voor serverloze rekenkracht hoef je geen cluster te beheren: je dient een taak in en Azure ML selecteert en richt de benodigde rekenkracht automatisch in. Voor inferentie kun je implementeren naar managed online endpoints (realtime), batch-endpoints of Azure Kubernetes Service.

Azure ML is geïntegreerd met MLflow, de opensourcebibliotheek voor het bijhouden van ML-experimenten. Wanneer je metrische gegevens, parameters en artefacten registreert met mlflow.log_metric() en mlflow.log_param(), slaat Azure ML deze automatisch op in de experimenteergeschiedenis van de werkruimte. In Studio kun je uitvoeringen uit verschillende experimenten vergelijken om de beste combinatie van hyperparameters te vinden. Het registreren van MLflow-modellen (mlflow.sklearn.log_model()) registreert modellen ook rechtstreeks in het modellenregister van Azure ML.

Azure ML Studio bevat een Dashboard voor verantwoorde AI dat je getrainde model analyseert op eerlijkheid, interpreteerbaarheid en foutanalyse. Het onderdeel foutanalyse identificeert subgroepen in de testgegevensset waarvoor het model het slechtst presteert. Het onderdeel interpreteerbaarheid (met SHAP of LIME) laat zien welke kenmerken de modelvoorspellingen het sterkst beïnvloeden. De eerlijkheidsbeoordeling controleert of foutpercentages van voorspellingen verschillen tussen demografische groepen, zodat je vertekening vóór de implementatie kunt opsporen en beperken.

Om een getraind model te implementeren voor realtime-inferentie, maak je een managed online endpoint in Azure ML. Een eindpunt heeft een of meer implementaties. Elke implementatie is een versie van het model met een eigen configuratie voor rekenkracht. Je geeft het model, een scoringsscript (toegangspunt) en het type rekeninstantie op. Verkeer kan over implementaties worden verdeeld (bijvoorbeeld 90% naar blue en 10% naar green) om nieuwe modelversies veilig uit te rollen. Het eindpunt biedt een HTTPS REST-API.

Batch-eindpunten voeren inferentie asynchroon uit op grote gegevenssets, in plaats van één record per keer te scoren. Je dient een batchtaak in die verwijst naar een invoergegevensset (in Azure Blob Storage), waarna het eindpunt deze parallel op een rekencluster verwerkt. De resultaten worden naar een uitvoerlocatie geschreven. Batchinferentie is ideaal voor dagelijkse voorspellingen van klantverloop, maandelijkse scoring van kredietrisico's of nachtelijke beeldclassificatie van nieuw geüploade inhoud: scenario's waarin de vertraging per verzoek niet kritisch is, maar de verwerkingscapaciteit wel belangrijk is.

Na de implementatie kan de nauwkeurigheid van een model na verloop van tijd afnemen doordat patronen in gegevens uit de echte wereld veranderen. Dit verschijnsel heet gegevensverschuiving of modelverschuiving. Azure ML biedt modelmonitoring die inferentiegegevens uit productie vergelijkt met de trainingsbasis en een waarschuwing geeft wanneer de statistische verschuiving een drempel overschrijdt. Je kunt monitoringtaken dagelijks of wekelijks plannen. Wanneer er een aanzienlijke verschuiving wordt vastgesteld, is dat een signaal om het model met recente gegevens opnieuw te trainen en zo de kwaliteit van de voorspellingen te behouden.

Azure ML Pipelines orkestreren workflows voor ML met meerdere stappen — voorbewerking van gegevens, feature-engineering, modeltraining, evaluatie en voorwaardelijke implementatie — als een herbruikbare pijplijn met parameters. Elke stap wordt op een eigen rekendoel uitgevoerd. Pijplijnen kunnen volgens een schema worden uitgevoerd (bijvoorbeeld wekelijks opnieuw trainen met nieuwe gegevens), door Azure Data Factory worden geactiveerd of via een REST-API worden aangeroepen. Gepubliceerde pijplijnen krijgen een versie in de werkruimte, waardoor reproduceerbare ML-experimenten en controleerbaarheid voor gereguleerde sectoren mogelijk worden.

In deze les heb je geleerd dat Azure ML Studio één geïntegreerde interface biedt voor de volledige ML-levenscyclus, van gegevens tot geïmplementeerd model, dat AutoML de selectie van algoritmen en het afstemmen van hyperparameters automatiseert zonder ML-expertise, en dat managed online and batch endpoints getrainde modellen als REST-API's implementeren voor realtime of grootschalige asynchrone scoring. Hierna verkennen we Azure OpenAI Service voor de integratie van grote taalmodellen in toepassingen.