Azure Machine Learning Studio

Azure 머신 러닝(Azure ML)은 데이터 준비, 실험 추적, 모델 학습, 평가, 배포, 모니터링 등 전체 머신 러닝 수명 주기를 지원하는 관리형 클라우드 플랫폼입니다. 사전 구축된 AI를 제공하는 Azure AI Services와 달리, Azure ML을 사용하면 scikit-learn, TensorFlow, PyTorch, XGBoost 등 어떤 ML 프레임워크로든 자체 데이터를 사용하여 직접 모델을 학습할 수 있습니다. Azure에서 작업하는 데이터 과학자와 ML 엔지니어가 선호하는 플랫폼입니다.

Azure ML 작업 영역은 컴퓨팅 클러스터, 데이터 세트, 실험, 모델, 배포 등 모든 ML 리소스를 연결하는 최상위 리소스입니다. 작업 영역을 만들면 Azure는 연결된 Storage 계정(데이터용), Key Vault(비밀용), Application Insights(배포 모니터링용), 그리고 선택적으로 Container Registry(사용자 지정 환경용)를 자동으로 프로비저닝합니다. ML 프로젝트의 모든 요소가 하나의 작업 영역 안에 있으므로 협업과 거버넌스를 간편하게 관리할 수 있습니다.

Azure ML Studio는 ml.azure.com에서 Azure ML 작업 영역에 액세스할 수 있는 웹 기반 UI입니다. 작업을 다음 섹션으로 구성합니다. Notebooks(대화형 코딩을 위한 Jupyter 환경), Automated ML(코드 없이 수행하는 모델 학습), Designer(끌어서 놓기 방식의 pipeline 작성 도구), Jobs(학습 실행 기록 및 메트릭), Models(모델 레지스트리), Endpoints(배포된 모델 API), Data(데이터 세트 관리). Studio는 데이터 과학자와 ML 엔지니어 모두를 위해 설계되었습니다.

Automated ML은 알고리즘과 하이퍼파라미터를 선택하는 반복 과정을 자동화합니다. 레이블이 지정된 데이터 세트를 제공하고, 작업 유형(분류, 회귀 또는 시계열 예측)을 지정하며, 대상 열을 선택하고 시간 예산을 설정합니다. AutoML은 수백 개의 모델 후보를 병렬로 학습하고 각각을 평가한 다음 순위가 매겨진 리더보드를 반환합니다. 가장 우수한 모델은 모델 레지스트리에 자동으로 등록되며 한 번의 클릭으로 배포할 수 있습니다. 작동하는 모델을 얻는 데 ML 전문 지식이 필요하지 않습니다.

Azure ML은 학습과 추론을 위한 여러 컴퓨팅 대상을 지원합니다. 컴퓨팅 인스턴스는 대화형 Notebook 개발에 사용하는 단일 노드 관리형 VM입니다. 컴퓨팅 클러스터는 학습 작업에 사용하는 자동 크기 조정 다중 노드 클러스터로, 유휴 상태에서는 0으로 축소됩니다. 서버리스 컴퓨팅에서는 클러스터를 관리할 필요가 없습니다. 작업을 제출하면 Azure ML이 컴퓨팅 리소스를 자동으로 선택하고 프로비저닝합니다. 추론의 경우 관리형 온라인 엔드포인트(실시간), 일괄 처리 엔드포인트 또는 Azure Kubernetes Service에 배포할 수 있습니다.

Azure ML은 오픈 소스 ML 실험 추적 라이브러리인 MLflow와 통합됩니다. mlflow.log_metric() 및 mlflow.log_param()을 사용하여 메트릭, 매개 변수, 아티팩트를 기록하면 Azure ML이 이를 작업 영역의 실험 기록에 자동으로 저장합니다. Studio에서 여러 실험의 실행을 비교하여 가장 우수한 하이퍼파라미터 조합을 찾을 수 있습니다. MLflow 모델 기록(mlflow.sklearn.log_model())을 사용하면 모델을 Azure ML 모델 레지스트리에 직접 등록할 수도 있습니다.

Azure ML Studio에는 학습된 모델의 공정성, 해석 가능성, 오류 분석을 분석하는 Responsible AI Dashboard가 포함되어 있습니다. 오류 분석 구성 요소는 모델의 성능이 가장 낮은 테스트 데이터 세트의 하위 그룹을 식별합니다. 해석 가능성 구성 요소는 SHAP 또는 LIME을 사용하여 모델의 예측에 가장 큰 영향을 미치는 특성을 보여 줍니다. 공정성 평가는 인구 통계학적 그룹에 따라 예측 오류율이 다른지 확인하여, 배포 전에 편향을 식별하고 완화할 수 있도록 도와줍니다.

학습된 모델을 실시간 추론에 사용하려면 Azure ML에서 관리형 온라인 엔드포인트를 만듭니다. 엔드포인트에는 하나 이상의 배포가 있으며, 각 배포는 자체 컴퓨팅 구성을 사용하는 모델 버전입니다. 모델, 점수 매기기 스크립트(진입점), 컴퓨팅 인스턴스 유형을 지정합니다. 새 모델 버전을 안전하게 출시하기 위해 배포 간에 트래픽을 분할할 수 있습니다(예: 파란색 배포에 90%, 녹색 배포에 10%). 엔드포인트는 HTTPS REST API를 제공합니다.

일괄 처리 엔드포인트는 레코드를 한 번에 하나씩 처리하는 대신 대규모 데이터 세트에 대해 비동기적으로 추론을 실행합니다. 입력 데이터 세트(Azure Blob Storage에 저장)를 가리키는 일괄 처리 작업을 제출하면 엔드포인트가 컴퓨팅 클러스터 전체에서 이를 병렬로 처리합니다. 결과는 출력 위치에 기록됩니다. 일괄 추론은 일일 이탈 예측, 월간 신용 위험 점수 계산, 또는 새 콘텐츠 업로드에 대한 야간 이미지 분류처럼 요청별 지연 시간보다 처리량이 중요한 시나리오에 적합합니다.

배포 후에는 실제 데이터 패턴이 변하면서 시간이 지남에 따라 모델 정확도가 저하될 수 있습니다. 이러한 현상을 데이터 드리프트 또는 모델 드리프트라고 합니다. Azure ML은 프로덕션 추론 데이터와 학습 기준선을 비교하고 통계적 드리프트가 임계값을 초과하면 경고하는 모델 모니터링을 제공합니다. 모니터링 작업을 매일 또는 매주 예약할 수 있습니다. 상당한 드리프트가 감지되면 최근 데이터로 모델을 다시 학습하여 예측 품질을 유지해야 한다는 신호입니다.

Azure ML 파이프라인은 데이터 전처리, 특성 공학, 모델 학습, 평가, 조건부 배포 등 여러 단계로 이루어진 ML 워크플로를 재사용 가능하고 매개 변수화된 파이프라인으로 오케스트레이션합니다. 각 단계는 자체 컴퓨팅 대상에서 실행됩니다. 파이프라인은 예약하여 실행하거나(예: 새 데이터로 매주 재학습), Azure Data Factory에서 트리거하거나, REST API를 통해 호출할 수 있습니다. 게시된 파이프라인은 작업 영역에서 버전이 관리되므로 규제가 적용되는 산업에서도 재현 가능한 ML 실험과 감사 추적이 가능합니다.

이 단원에서 다룬 Microsoft Azure Fundamentals (AZ-900) 개념에 대한 이해도를 확인해 보세요.

이 단원에서는 다음을 배웠습니다. Azure ML Studio는 데이터부터 배포된 모델까지 전체 ML 수명 주기를 위한 통합 UI를 제공하고, AutoML은 ML 전문 지식 없이도 알고리즘 선택과 하이퍼파라미터 조정을 자동화하며, 관리형 온라인 및 일괄 처리 엔드포인트는 학습된 모델을 실시간 또는 대규모 비동기 점수 계산을 위한 REST API로 배포합니다. 다음으로는 애플리케이션에 대규모 언어 모델을 통합하는 Azure OpenAI Service를 살펴보겠습니다.