Azure Machine Learning Studio

Azure Machine Learning (Azure ML) adalah platform cloud terkelola untuk seluruh siklus hidup machine learning — persiapan data, pelacakan eksperimen, pelatihan model, evaluasi, penerapan, dan pemantauan. Berbeda dari Azure AI Services (yang menyediakan AI siap pakai), Azure ML memungkinkan Anda melatih model sendiri menggunakan data sendiri dengan kerangka kerja ML apa pun: scikit-learn, TensorFlow, PyTorch, XGBoost, dan lainnya. Platform ini merupakan pilihan utama bagi ilmuwan data dan insinyur ML yang bekerja di Azure.

Ruang kerja Azure ML adalah sumber daya tingkat teratas yang menghubungkan semua sumber daya ML: kluster komputasi, himpunan data, eksperimen, model, dan penerapan. Saat Anda membuat ruang kerja, Azure secara otomatis menyediakan akun Storage tertaut (untuk data), Key Vault (untuk rahasia), Application Insights (untuk pemantauan penerapan), dan, secara opsional, Container Registry (untuk lingkungan khusus). Semua hal dalam proyek ML berada di dalam satu ruang kerja, sehingga kolaborasi dan tata kelola menjadi lebih mudah.

Azure ML Studio adalah UI berbasis web untuk ruang kerja Azure ML di ml.azure.com. Studio mengatur pekerjaan ke dalam beberapa bagian: Notebooks (lingkungan Jupyter untuk pengodean interaktif), Automated ML (pelatihan model tanpa kode), Designer (pembuat pipeline seret dan lepas), Jobs (riwayat proses pelatihan dan metrik), Models (registri model), Endpoints (API model yang diterapkan), dan Data (pengelolaan himpunan data). Studio dibuat untuk ilmuwan data dan insinyur ML.

Automated ML mengotomatiskan proses berulang untuk memilih algoritme dan hiperparameter. Anda menyediakan himpunan data berlabel, menentukan jenis tugas (klasifikasi, regresi, atau peramalan deret waktu), memilih kolom target, dan menetapkan batas waktu. AutoML melatih ratusan kandidat model secara paralel, mengevaluasi masing-masing model, lalu menampilkan papan peringkat. Model terbaik otomatis didaftarkan dalam registri model dan dapat diterapkan dengan satu klik. Anda tidak memerlukan keahlian ML untuk mendapatkan model yang berfungsi.

Azure ML mendukung beberapa target komputasi untuk pelatihan dan inferensi. Instans komputasi adalah VM terkelola satu simpul yang digunakan untuk pengembangan notebook interaktif. Kluster komputasi adalah kluster multi-simpul dengan penskalaan otomatis (menyusut menjadi 0 saat tidak digunakan) yang digunakan untuk proses pelatihan. Komputasi tanpa server tidak memerlukan pengelolaan kluster — Anda mengirimkan tugas, lalu Azure ML memilih dan menyediakan komputasi secara otomatis. Untuk inferensi, Anda dapat menerapkan model ke titik akhir online terkelola (waktu nyata), titik akhir batch, atau Azure Kubernetes Service.

Azure ML terintegrasi dengan MLflow, pustaka sumber terbuka untuk pelacakan eksperimen ML. Saat Anda mencatat metrik, parameter, dan artefak menggunakan mlflow.log_metric() dan mlflow.log_param(), Azure ML otomatis menyimpannya dalam riwayat eksperimen ruang kerja. Anda dapat membandingkan proses di berbagai eksperimen dalam Studio untuk menemukan kombinasi hiperparameter terbaik. Pencatatan model MLflow (mlflow.sklearn.log_model()) juga mendaftarkan model langsung ke registri model Azure ML.

Azure ML Studio menyertakan Dasbor AI yang Bertanggung Jawab yang menganalisis model terlatih Anda untuk menilai keadilan, keterjelasan, dan kesalahan. Komponen analisis kesalahan mengidentifikasi subkelompok dalam himpunan data pengujian yang kinerja modelnya paling buruk. Komponen keterjelasan (menggunakan SHAP atau LIME) menunjukkan fitur yang paling memengaruhi prediksi model. Penilaian keadilan memeriksa apakah tingkat kesalahan prediksi berbeda di antara kelompok demografis, sehingga membantu Anda mengidentifikasi dan mengurangi bias sebelum penerapan.

Untuk menerapkan model terlatih bagi inferensi waktu nyata, Anda membuat titik akhir online terkelola di Azure ML. Sebuah titik akhir memiliki satu atau beberapa penerapan — setiap penerapan merupakan versi model dengan konfigurasi komputasinya sendiri. Anda menentukan model, skrip penilaian (titik masuk), dan jenis instans komputasi. Lalu lintas dapat dibagi di antara beberapa penerapan (misalnya 90% ke biru, 10% ke hijau) untuk meluncurkan versi model baru dengan aman. Titik akhir tersebut menyediakan API REST HTTPS.

Titik akhir batch menjalankan inferensi secara asinkron pada himpunan data besar, bukan menilai satu rekaman setiap kali. Anda mengirimkan tugas batch yang menunjuk ke himpunan data input (di Azure Blob Storage), lalu titik akhir memprosesnya secara paralel di seluruh kluster komputasi. Hasilnya ditulis ke lokasi output. Inferensi batch ideal untuk proses prediksi pelanggan yang berhenti berlangganan setiap hari, penilaian risiko kredit setiap bulan, atau klasifikasi gambar setiap malam atas unggahan konten baru — yaitu skenario ketika latensi per permintaan tidak terlalu penting, tetapi throughput penting.

Setelah penerapan, akurasi model dapat menurun seiring waktu karena pola data dunia nyata berubah — fenomena yang disebut pergeseran data atau pergeseran model. Azure ML menyediakan pemantauan model yang membandingkan data inferensi produksi dengan acuan pelatihan dan memberi peringatan saat pergeseran statistik melampaui ambang batas. Anda dapat menjadwalkan tugas pemantauan setiap hari atau setiap minggu. Ketika pergeseran yang signifikan terdeteksi, hal itu menandakan bahwa model perlu dilatih ulang menggunakan data terbaru untuk mempertahankan kualitas prediksi.

Azure ML Pipelines mengatur alur kerja ML multi-langkah — prapemrosesan data, rekayasa fitur, pelatihan model, evaluasi, dan penerapan bersyarat — sebagai pipeline yang dapat digunakan kembali dan memiliki parameter. Setiap langkah berjalan pada target komputasinya sendiri. Pipeline dapat dijadwalkan (misalnya melatih ulang setiap minggu dengan data baru), dipicu oleh Azure Data Factory, atau dipanggil melalui API REST. Pipeline yang dipublikasikan diberi versi dalam ruang kerja, sehingga eksperimen ML dapat direproduksi dan diaudit untuk industri yang teregulasi.

Dalam pelajaran ini Anda mempelajari bahwa Azure ML Studio menyediakan UI terpadu untuk seluruh siklus hidup ML, mulai dari data hingga model yang diterapkan, AutoML mengotomatiskan pemilihan algoritme dan penyetelan hiperparameter tanpa keahlian ML, serta titik akhir online dan batch terkelola menerapkan model terlatih sebagai API REST untuk penilaian waktu nyata atau asinkron berskala besar. Selanjutnya, kita akan mempelajari Azure OpenAI Service untuk mengintegrasikan model bahasa besar ke dalam aplikasi.