Azure Machine Learning Studio

Azure Machine Learning (Azure ML) — это управляемая облачная платформа для полного жизненного цикла машинного обучения: подготовки данных, отслеживания экспериментов, обучения, оценки, развёртывания и мониторинга моделей. В отличие от Azure AI Services, предоставляющих готовые решения AI, Azure ML позволяет обучать собственные модели на собственных данных с помощью любой платформы ML: scikit-learn, TensorFlow, PyTorch, XGBoost и других. Это предпочтительная платформа для специалистов по данным и инженеров ML, работающих в Azure.

Рабочая область Azure ML — это ресурс верхнего уровня, объединяющий все ресурсы ML: вычислительные кластеры, наборы данных, эксперименты, модели и развёртывания. При создании рабочей области Azure автоматически создаёт связанный учётная запись хранения (для данных), Key Vault (для секретов), Application Insights (для мониторинга развёртываний) и, при необходимости, реестр контейнеров (для пользовательских сред). Всё в проекте ML находится в одной рабочей области, что упрощает совместную работу и управление.

Azure ML Studio — это веб-интерфейс рабочей области Azure ML, доступный по адресу ml.azure.com. Он организует работу по разделам: блокноты (среда Jupyter для интерактивного программирования), автоматизированное ML (обучение моделей без программирования), конструктор (создание конвейеров методом перетаскивания), задания (история запусков обучения и метрики), модели (реестр моделей), конечные точки (API развёрнутых моделей) и данные (управление наборами данных). Studio предназначена как для специалистов по данным, так и для инженеров ML.

Автоматизированное ML автоматизирует итеративный процесс выбора алгоритмов и гиперпараметров. Вы предоставляете размеченный набор данных, указываете тип задачи (классификация, регрессия или прогнозирование временных рядов), выбираете целевой столбец и задаёте ограничение по времени. AutoML параллельно обучает сотни вариантов моделей, оценивает каждый из них и возвращает рейтинг. Лучшая модель автоматически регистрируется в реестре моделей и может быть развёрнута одним нажатием. Для получения рабочей модели специальные знания в области ML не требуются.

Azure ML поддерживает несколько вычислительных целей для обучения и получения прогнозов. Вычислительные экземпляры — это управляемые виртуальные машины с одним узлом, предназначенные для разработки в интерактивных блокнотах. Вычислительные кластеры — это автоматически масштабируемые многоузловые кластеры (при простое масштабируются до нуля), используемые для заданий обучения. Бессерверные вычисления не требуют управления кластерами: Вы отправляете задание, а Azure ML автоматически выбирает и выделяет вычислительные ресурсы. Для получения прогнозов можно выполнить развёртывание на управляемых онлайн-конечных точках (в реальном времени), пакетных конечных точках или в Azure Kubernetes Service.

Azure ML интегрирован с MLflow — библиотекой с открытым исходным кодом для отслеживания экспериментов ML. Когда Вы записываете метрики, параметры и артефакты с помощью mlflow.log_metric() и mlflow.log_param(), Azure ML автоматически сохраняет их в истории экспериментов рабочей области. В Studio можно сравнивать запуски разных экспериментов, чтобы определить лучшую комбинацию гиперпараметров. Регистрация моделей MLflow (mlflow.sklearn.log_model()) также напрямую добавляет модели в реестр моделей Azure ML.

Azure ML Studio включает панель ответственного применения AI, которая анализирует обученную модель с точки зрения справедливости, интерпретируемости и ошибок. Компонент анализа ошибок выявляет подгруппы тестового набора данных, на которых модель работает хуже всего. Компонент интерпретируемости (с использованием SHAP или LIME) показывает, какие признаки сильнее всего влияют на прогнозы модели. Оценка справедливости проверяет, различаются ли показатели ошибок прогнозирования между демографическими группами, помогая выявить и устранить предвзятость до развёртывания.

Чтобы использовать обученную модель для получения прогнозов в реальном времени, создайте в Azure ML управляемую онлайн-конечную точку. Конечная точка содержит одно или несколько развёртываний; каждое развёртывание представляет собой версию модели с собственной конфигурацией вычислительных ресурсов. Вы указываете модель, скрипт оценки (точку входа) и тип вычислительного экземпляра. Для безопасного выпуска новых версий модели трафик можно распределить между развёртываниями (например, 90% направить на синее и 10% — на зелёное). Конечная точка предоставляет HTTPS REST API.

Пакетные конечные точки асинхронно выполняют получение прогнозов для больших наборов данных, а не обрабатывают по одной записи за раз. Вы отправляете пакетное задание, указывающее входной набор данных (в Azure Blob Storage), а конечная точка параллельно обрабатывает его в вычислительном кластере. Результаты записываются в выходное расположение. Пакетное получение прогнозов идеально подходит для ежедневного прогнозирования оттока клиентов, ежемесячной оценки кредитного риска или ночной классификации новых изображений, загруженных пользователями, — для сценариев, где задержка отдельного запроса не критична, но важна пропускная способность.

После развёртывания точность модели со временем может снижаться из-за изменения закономерностей реальных данных — это явление называется дрейфом данных или дрейфом модели. Azure ML предоставляет мониторинг моделей, который сравнивает данные прогнозов в рабочей среде с базовой линией обучения и отправляет уведомления, когда статистический дрейф превышает порог. Вы можете планировать задания мониторинга ежедневно или еженедельно. Обнаружение значительного дрейфа указывает на необходимость переобучить модель на свежих данных, чтобы сохранить качество прогнозов.

Конвейеры Azure ML координируют многоэтапные рабочие процессы ML — предварительную обработку данных, создание признаков, обучение и оценку модели, а также условное развёртывание — в виде повторно используемого параметризованного конвейера. Каждый этап выполняется на собственной вычислительной цели. Конвейеры можно планировать (например, еженедельно переобучать модель на новых данных), запускать из Azure Data Factory или вызывать через REST API. Опубликованные конвейеры получают версии в рабочей области, что обеспечивает воспроизводимость экспериментов ML и возможность аудита в регулируемых отраслях.

Проверьте своё понимание концепций Microsoft Azure Fundamentals (AZ-900), рассмотренных в этом уроке.

В этом уроке Вы узнали, что Azure ML Studio предоставляет единый интерфейс для полного жизненного цикла ML — от данных до развёрнутой модели; AutoML автоматизирует выбор алгоритма и настройку гиперпараметров без специальных знаний в области ML; а управляемые онлайн- и пакетные конечные точки развёртывают обученные модели как REST API для получения прогнозов в реальном времени или асинхронной обработки больших объёмов данных. Далее мы рассмотрим Azure OpenAI Service для интеграции больших языковых моделей в приложения.