Azure Machine Learning Studio

Azure Machine Learning (Azure ML) è una piattaforma cloud gestita per l'intero ciclo di vita del machine learning: preparazione dei dati, monitoraggio degli esperimenti, addestramento dei modelli, valutazione, distribuzione e monitoraggio. A differenza di Azure AI Services (che fornisce funzionalità di IA predefinite), Azure ML consente di addestrare modelli personalizzati sui propri dati utilizzando qualsiasi framework ML: scikit-learn, TensorFlow, PyTorch, XGBoost e altri. È la piattaforma preferita da data scientist e ingegneri ML che lavorano in Azure.

Un workspace di Azure ML è la risorsa di livello superiore che riunisce tutte le risorse ML: cluster di calcolo, dataset, esperimenti, modelli e distribuzioni. Quando crea un workspace, Azure esegue automaticamente il provisioning di un Storage account collegato (per i dati), di Key Vault (per i segreti), di Application Insights (per il monitoraggio delle distribuzioni) e, facoltativamente, di un Container Registry (per gli ambienti personalizzati). Tutto ciò che appartiene a un progetto ML risiede in un unico workspace, semplificando la collaborazione e la governance.

Azure ML Studio è l'interfaccia utente web del workspace di Azure ML, disponibile all'indirizzo ml.azure.com. Organizza il lavoro in sezioni: Notebooks (ambiente Jupyter per la programmazione interattiva), Automated ML (addestramento di modelli senza codice), Designer (strumento per creare pipeline tramite trascinamento), Jobs (cronologia e metriche delle esecuzioni di addestramento), Models (registro dei modelli), Endpoints (API dei modelli distribuiti) e Data (gestione dei dataset). Studio è progettato sia per data scientist sia per ingegneri ML.

Automated ML automatizza il processo iterativo di selezione degli algoritmi e degli iperparametri. Lei fornisce un dataset con etichette, specifica il tipo di attività (classificazione, regressione o previsione di serie temporali), seleziona la colonna obiettivo e imposta un limite di tempo. AutoML addestra in parallelo centinaia di modelli candidati, valuta ciascuno di essi e restituisce una classifica ordinata. Il modello migliore viene registrato automaticamente nel registro dei modelli e può essere distribuito con un solo clic. Non è necessaria alcuna competenza di ML per ottenere un modello funzionante.

Azure ML supporta diversi target di calcolo per l'addestramento e l'inferenza. Le istanze di calcolo sono macchine virtuali gestite a nodo singolo, utilizzate per sviluppare notebook interattivi. I cluster di calcolo sono cluster gestiti a più nodi con ridimensionamento automatico (fino a 0 quando inattivi), utilizzati per i processi di addestramento. Il calcolo serverless non richiede la gestione di cluster: Lei invia un processo e Azure ML seleziona e configura automaticamente le risorse di calcolo. Per l'inferenza, può eseguire la distribuzione in endpoint online gestiti (in tempo reale), endpoint batch oppure in Azure Kubernetes Service.

Azure ML è integrato con MLflow, la libreria open source per il monitoraggio degli esperimenti ML. Quando registra metriche, parametri e artefatti utilizzando mlflow.log_metric() e mlflow.log_param(), Azure ML li archivia automaticamente nella cronologia degli esperimenti del workspace. In Studio può confrontare le esecuzioni di esperimenti diversi per individuare la combinazione migliore di iperparametri. La registrazione dei modelli con MLflow (mlflow.sklearn.log_model()) registra inoltre i modelli direttamente nel registro dei modelli di Azure ML.

Azure ML Studio include una Responsible AI Dashboard che analizza il modello addestrato in termini di equità, interpretabilità e analisi degli errori. Il componente di analisi degli errori identifica i sottogruppi del dataset di test sui quali il modello ha le prestazioni peggiori. Il componente di interpretabilità (che utilizza SHAP o LIME) mostra quali caratteristiche influenzano maggiormente le previsioni del modello. La valutazione dell'equità verifica se i tassi di errore delle previsioni differiscono tra gruppi demografici, aiutandoLa a identificare e ridurre i bias prima della distribuzione.

Per distribuire un modello addestrato per l'inferenza in tempo reale, crea un endpoint online gestito in Azure ML. Un endpoint dispone di una o più distribuzioni; ogni distribuzione è una versione del modello con una propria configurazione di calcolo. Specifica il modello, uno script di scoring (punto di ingresso) e il tipo di istanza di calcolo. Il traffico può essere suddiviso tra le distribuzioni (ad esempio, 90% verso quella blu e 10% verso quella verde) per introdurre in sicurezza nuove versioni del modello. L'endpoint espone un'API REST HTTPS.

Gli endpoint batch eseguono l'inferenza in modo asincrono su dataset di grandi dimensioni, invece di valutare un record alla volta. Lei invia un processo batch che fa riferimento a un dataset di input (in Azure Blob Storage) e l'endpoint lo elabora in parallelo su un cluster di calcolo. I risultati vengono scritti in una posizione di output. L'inferenza batch è ideale per eseguire quotidianamente previsioni dell'abbandono dei clienti, valutazioni mensili del rischio di credito o classificazioni notturne delle nuove immagini caricate: scenari in cui la latenza per richiesta non è critica, mentre è importante la velocità complessiva di elaborazione.

Dopo la distribuzione, la precisione del modello può diminuire nel tempo quando cambiano i pattern dei dati del mondo reale: un fenomeno chiamato data drift o model drift. Azure ML offre il monitoraggio dei modelli, che confronta i dati delle inferenze in produzione con la baseline di addestramento e invia avvisi quando il drift statistico supera una soglia. Può pianificare i processi di monitoraggio con cadenza giornaliera o settimanale. Quando viene rilevato un drift significativo, ciò indica che è necessario riaddestrare il modello con dati recenti per mantenere la qualità delle previsioni.

Le Azure ML Pipelines orchestrano flussi di lavoro ML composti da più passaggi — pre-elaborazione dei dati, ingegneria delle caratteristiche, addestramento e valutazione del modello e distribuzione condizionale — sotto forma di pipeline riutilizzabile e parametrizzata. Ogni passaggio viene eseguito sul proprio target di calcolo. Le pipeline possono essere pianificate (ad esempio, per riaddestrare il modello ogni settimana con dati nuovi), attivate da Azure Data Factory oppure richiamate tramite API REST. Le pipeline pubblicate sono sottoposte a versionamento nel workspace, consentendo di riprodurre gli esperimenti ML e garantendo la verificabilità nei settori regolamentati.

Verifichi la Sua comprensione dei concetti di Microsoft Azure Fundamentals (AZ-900) presentati in questa lezione.

In questa lezione ha imparato che Azure ML Studio offre un'interfaccia utente unificata per l'intero ciclo di vita ML, dai dati al modello distribuito, che AutoML automatizza la selezione degli algoritmi e l'ottimizzazione degli iperparametri senza richiedere competenze di ML e che gli endpoint online e batch gestiti distribuiscono i modelli addestrati come API REST per lo scoring in tempo reale o asincrono su larga scala. Nella prossima lezione esploreremo Azure OpenAI Service per integrare modelli linguistici di grandi dimensioni nelle applicazioni.