Cloud & IT Cert Prep · レッスン

Azure Machine Learning Studio

Azure Machine Learning Studio を操作し、表形式データセットで自動 ML 実験を実行して、最適なモデルをリアルタイムスコアリングエンドポイントとしてデプロイします。

「Azure Machine Learning Studio」はCoddyKit上の無料Cloud & IT Cert Prepレッスンです。これはレッスン3/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはCloud & IT Cert Prep学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Cloud & IT Cert Prepコースには全4レッスンが含まれています。

Azure Machine Learningとは

Azure Machine Learning（Azure ML）は、データ準備、実験の追跡、モデルのトレーニング、評価、デプロイ、監視という機械学習ライフサイクル全体に対応したマネージドクラウドプラットフォームです。構築済みのAIを提供するAzure AI Servicesとは異なり、Azure MLでは、scikit-learn、TensorFlow、PyTorch、XGBoostなど、任意のMLフレームワークを使って独自のデータで独自のモデルをトレーニングできます。Azureで作業するデータサイエンティストやMLエンジニアに推奨されるプラットフォームです。

Azure MLワークスペース

Azure MLワークスペースは、コンピューティングクラスター、データセット、実験、モデル、デプロイなど、すべてのMLリソースをまとめる最上位のリソースです。ワークスペースを作成すると、Azureは関連付けられたStorage account（データ用）、Key Vault（シークレット用）、Application Insights（デプロイの監視用）を自動的にプロビジョニングし、必要に応じてContainer Registry（カスタム環境用）もプロビジョニングします。MLプロジェクト内のすべての要素が1つのワークスペースに収まるため、共同作業とガバナンスを簡単に行えます。

# Create an Azure ML workspace
az ml workspace create \
  --name myMLWorkspace \
  --resource-group myRG \
  --location eastus

Azure ML Studioのインターフェイス

Azure ML Studioは、ml.azure.comにあるAzure MLワークスペース用のWebベースUIです。作業は、Notebooks（対話的なコーディングのためのJupyter環境）、Automated ML（ノーコードのモデルトレーニング）、Designer（ドラッグアンドドロップで操作するパイプラインビルダー）、Jobs（トレーニング実行履歴とメトリック）、Models（モデルレジストリ）、Endpoints（デプロイ済みモデルのAPI）、Data（データセット管理）というセクションに整理されています。Studioは、データサイエンティストとMLエンジニアの両方を対象に設計されています。

Automated ML（AutoML）

Automated MLは、アルゴリズムとハイパーパラメーターを選択する反復的なプロセスを自動化します。ラベル付きデータセットを用意し、タスクの種類（分類、回帰、時系列予測）を指定して、対象列と時間の上限を設定します。AutoMLは数百のモデル候補を並列でトレーニングし、それぞれを評価して、順位付けされたリーダーボードを返します。最適なモデルはモデルレジストリに自動的に登録され、ワンクリックでデプロイできます。動作するモデルを得るために、MLの専門知識は必要ありません。

# Submit an AutoML job via CLI v2
az ml job create \
  --file automl_job.yaml \
  --resource-group myRG \
  --workspace-name myMLWorkspace

# automl_job.yaml excerpt:
# type: automl
# task: classification
# primary_metric: accuracy
# training_data:
#   path: azureml:myDataset:1
# target_column_name: label
# n_cross_validations: 5

コンピューティングターゲット

Azure MLは、トレーニングと推論に複数のコンピューティングターゲットをサポートしています。Compute instancesは、対話的なノートブック開発に使用する単一ノードのマネージドVMです。Compute clustersは、トレーニングジョブに使用する自動スケーリング対応のマルチノードクラスターで、アイドル状態になると0まで縮小します。Serverless computeではクラスターの管理は不要です。ジョブを送信すると、Azure MLがコンピューティングを自動的に選択してプロビジョニングします。推論では、managed online endpoints（リアルタイム）、batch endpoints、またはAzure Kubernetes Serviceにデプロイできます。

# Create a compute cluster for training
az ml compute create \
  --name myTrainCluster \
  --resource-group myRG \
  --workspace-name myMLWorkspace \
  --type AmlCompute \
  --size Standard_DS3_v2 \
  --min-instances 0 \
  --max-instances 4

実験の追跡とMLflow

Azure MLは、オープンソースのML実験追跡ライブラリであるMLflowと統合されています。mlflow.log_metric()やmlflow.log_param()を使ってメトリック、パラメーター、アーティファクトを記録すると、Azure MLはそれらをワークスペースの実験履歴に自動的に保存します。Studioでは、実験間で実行結果を比較して、最適なハイパーパラメーターの組み合わせを特定できます。MLflowによるモデルの記録（mlflow.sklearn.log_model()）を使うと、モデルをAzure MLのモデルレジストリに直接登録することもできます。

import mlflow

# In your training script
mlflow.autolog()  # auto-logs params, metrics, and models
with mlflow.start_run():
    # train your model here
    model.fit(X_train, y_train)
    accuracy = model.score(X_test, y_test)
    mlflow.log_metric('accuracy', accuracy)

Responsible AIダッシュボード

Azure ML Studioには、トレーニング済みモデルの公平性、解釈可能性、エラー分析を分析するResponsible AI Dashboardが含まれています。error analysisコンポーネントは、モデルの性能が最も低いテストデータセット内のサブグループを特定します。interpretabilityコンポーネント（SHAPまたはLIMEを使用）は、モデルの予測に最も大きな影響を与える特徴量を示します。fairness assessmentは、人口統計グループ間で予測エラー率に差があるかどうかを確認し、デプロイ前のバイアスの特定と軽減に役立ちます。

モデルをリアルタイムエンドポイントとしてデプロイする

トレーニング済みモデルをリアルタイム推論用にデプロイするには、Azure MLでmanaged online endpointを作成します。エンドポイントには1つ以上のdeploymentsがあり、各デプロイは独自のコンピューティング構成を持つモデルのバージョンです。モデル、スコアリングスクリプト（エントリポイント）、コンピューティングインスタンスの種類を指定します。新しいモデルバージョンを安全に段階展開するため、デプロイ間でトラフィックを分割できます（例：blueに90%、greenに10%）。エンドポイントはHTTPS REST APIを公開します。

# Deploy a model to a managed online endpoint
az ml online-endpoint create \
  --name myEndpoint \
  --resource-group myRG \
  --workspace-name myMLWorkspace

az ml online-deployment create \
  --endpoint-name myEndpoint \
  --name blue \
  --model azureml:myModel:1 \
  --instance-type Standard_DS2_v2 \
  --instance-count 1

大規模スコアリング用のバッチエンドポイント

Batch endpointsは、1レコードずつスコアリングするのではなく、大規模なデータセットに対して非同期で推論を実行します。入力データセット（Azure Blob Storage内）を指定してバッチジョブを送信すると、エンドポイントはコンピューティングクラスター全体で並列に処理します。結果は出力先に書き込まれます。バッチ推論は、日次の解約予測、月次の信用リスクスコアリング、新たにアップロードされたコンテンツの夜間画像分類など、リクエストごとのレイテンシーは重要ではないもののスループットが重要なシナリオに適しています。

データドリフトとモデル監視

デプロイ後、現実世界のデータパターンが変化すると、モデルの精度は時間とともに低下することがあります。この現象をデータドリフトまたはモデルドリフトと呼びます。Azure MLにはモデル監視機能があり、運用環境の推論データとトレーニング時のベースラインを比較し、統計的なドリフトがしきい値を超えたときに通知します。監視ジョブは毎日または毎週実行するようスケジュールできます。大きなドリフトが検出された場合は、予測品質を維持するため、最新のデータでモデルを再トレーニングする必要があることを示しています。

自動化のためのMLパイプライン

Azure ML Pipelinesは、データの前処理、特徴量エンジニアリング、モデルのトレーニング、評価、条件付きデプロイといった複数ステップのMLワークフローを、再利用可能でパラメーター化されたパイプラインとしてオーケストレーションします。各ステップは独自のコンピューティングターゲットで実行されます。パイプラインはスケジュール実行（例：新しいデータで毎週再トレーニング）、Azure Data Factoryによるトリガー、またはREST API経由での呼び出しが可能です。公開したパイプラインはワークスペース内でバージョン管理されるため、再現性のあるML実験と、規制対象業界における監査可能性を実現できます。

理解度チェック

このレッスンで扱ったMicrosoft Azure Fundamentals（AZ-900）の概念について、理解度を確認しましょう。

レッスンのまとめ

このレッスンでは、Azure ML Studioがデータからデプロイ済みモデルまで、MLライフサイクル全体の統合UIを提供すること、AutoMLがMLの専門知識なしでアルゴリズムの選択とハイパーパラメーターのチューニングを自動化すること、そしてmanaged online and batch endpointsがトレーニング済みモデルをREST APIとしてデプロイし、リアルタイムまたは大規模な非同期スコアリングを可能にすることを学びました。次は、アプリケーションに大規模言語モデルを統合するAzure OpenAI Serviceについて学びます。

よくある質問