0Pricing
Learn AI with Python · Pelajaran

Memantau Kinerja Model dalam Produksi

Deteksi pergeseran data, sinyal penurunan model, pemicu pelatihan ulang, pustaka evidently.

Memantau Kinerja Model dalam Produksi adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.

Mengapa Memantau dalam Produksi?

Model yang berkinerja baik saat diluncurkan dapat menurun secara diam-diam ketika dunia berubah. Pemantauan mendeteksi pergeseran ini sejak dini, sebelum diam-diam merusak metrik bisnis, sehingga Anda mengetahui kapan harus melatih ulang.

Pergeseran Data vs Pergeseran Konsep

  • Pergeseran data: distribusi masukan berubah (komposisi pelanggan baru).
  • Pergeseran konsep: hubungan antara masukan dan target berubah (hal yang memprediksi pelanggan berhenti berlangganan mengalami pergeseran).

Keduanya menurunkan akurasi; pemantauan mendeteksinya dengan cara yang berbeda.

PSI untuk Pergeseran Data

Indeks Stabilitas Populasi (PSI) membandingkan distribusi suatu fitur saat ini dengan distribusi dasar. Bagi keduanya ke dalam bin, lalu jumlahkan (now% - base%) * ln(now% / base%) di seluruh bin.

Membaca Nilai PSI

Aturan praktis: PSI < 0.1 tidak ada pergeseran signifikan, 0.1-0.25 pergeseran sedang (selidiki), > 0.25 pergeseran besar (kemungkinan perlu dilatih ulang). PSI dihitung untuk setiap fitur.

import numpy as np

def psi(base, now, bins=10):
    edges = np.percentile(base, np.linspace(0, 100, bins + 1))
    b_pct = np.histogram(base, edges)[0] / len(base) + 1e-6
    n_pct = np.histogram(now, edges)[0] / len(now) + 1e-6
    return np.sum((n_pct - b_pct) * np.log(n_pct / b_pct))

Uji KS untuk Distribusi

Uji Kolmogorov-Smirnov (KS) membandingkan dua distribusi kontinu. Nilai-p yang kecil berarti distribusi produksi berbeda secara signifikan dari distribusi pelatihan, yang menandakan adanya pergeseran.

from scipy.stats import ks_2samp

stat, pvalue = ks_2samp(train_feature, prod_feature)
if pvalue < 0.05:
    print("Distribution drift detected")

PSI vs KS

  • PSI: satu angka yang mudah ditafsirkan, sangat baik untuk dasbor dan ambang batas.
  • KS: uji hipotesis statistik dengan nilai-p, lebih ketat untuk fitur kontinu.

Banyak tim melaporkan keduanya secara berdampingan.

Apa Itu Evidently?

Evidently adalah pustaka sumber terbuka yang mengotomatiskan laporan pergeseran dan kualitas. Daripada menulis setiap metrik secara manual, Anda menyusun pemeriksaan prasetel dan mendapatkan laporan HTML/JSON.

# pip install evidently
from evidently.report import Report
from evidently.metric_preset import DataDriftPreset

Membangun Laporan DataDriftPreset

DataDriftPreset menjalankan rangkaian lengkap pengujian pergeseran pada semua kolom, dengan membandingkan kumpulan data referensi (pelatihan) dengan data saat ini (produksi).

report = Report(metrics=[DataDriftPreset()])
report.run(
    reference_data=train_df,
    current_data=prod_df
)
report.save_html("drift_report.html")

Mengekstrak Hasil Secara Terprogram

Ekspor laporan sebagai kamus untuk memasok logika pemberian peringatan, sehingga pemantauan dapat berjalan tanpa pengawasan sesuai jadwal.

result = report.as_dict()
drift_share = result["metrics"][0]["result"]["dataset_drift"]
print("Dataset drift flag:", drift_share)

Memberi Peringatan saat Akurasi Menurun

Jika Anda memiliki label acuan, lacak akurasi langsung dan keluarkan peringatan saat nilainya turun di bawah ambang batas. Ini merupakan sinyal paling langsung bahwa pelatihan ulang sudah terlambat.

THRESHOLD = 0.85

if live_accuracy < THRESHOLD:
    send_alert(f"Accuracy dropped to {live_accuracy:.2f}")

Menutup Siklus

Pemantauan yang baik terhubung langsung dengan tindakan: deteksi pergeseran -> kirim peringatan -> picu alur pelatihan ulang (Makefile/registri Anda dari pelajaran sebelumnya) -> terapkan versi baru. Pemantauan tanpa rencana respons hanyalah gangguan.

Pemeriksaan Singkat

Uji pengetahuan Anda tentang pemantauan.

Ringkasan

Anda memantau model produksi: PSI dan pengujian KS mendeteksi pergeseran data, Evidently mengotomatiskan laporan melalui DataDriftPreset, dan Anda mengirim peringatan ketika akurasi turun di bawah ambang batas, lalu memicu pelatihan ulang. Dengan demikian, kursus MLOps ini selesai. Kursus berikutnya: Menyajikan Model AI dengan FastAPI.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Memantau Kinerja Model dalam Produksi” gratis?

Ya — teks lengkap “Memantau Kinerja Model dalam Produksi” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Memantau Kinerja Model dalam Produksi”?

Deteksi pergeseran data, sinyal penurunan model, pemicu pelatihan ulang, pustaka evidently. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai Learn AI with Python?

Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.

Berapa lama pelajaran “Memantau Kinerja Model dalam Produksi” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?

Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. Pelacakan Eksperimen dengan MLflow
  2. Registri dan Penerapan Versi Model
  3. Membangun Pipeline Pembelajaran Mesin yang Dapat Direproduksi
  4. Memantau Kinerja Model dalam Produksi
← Kembali ke Learn AI with Python