Ukur Drift dengan PSI dan KS
Kuantifikasi perubahan distribusi pada setiap fitur.
Ukur Drift dengan PSI dan KS adalah pelajaran MLOps Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar MLOps Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus MLOps Academy mencakup 4 pelajaran total.
Dari Dugaan Menjadi Angka
Mengatakan bahwa suatu fitur terasa berbeda belumlah cukup. Anda memerlukan angka yang menunjukkan seberapa besar distribusinya berubah. Dua alat tepercaya adalah PSI dan pengujian KS. 📏
Apa yang Diukur PSI
Indeks Stabilitas Populasi membandingkan fitur saat ini dengan data pelatihan, per bucket. Semakin besar kesenjangan di setiap bucket, semakin tinggi skornya.
Membaca Nilai PSI
Patokan yang umum digunakan: PSI di bawah 0,1 berarti stabil, 0,1 hingga 0,25 berarti perubahan sedang, dan di atas 0,25 berarti pergeseran signifikan yang layak ditindaklanjuti.
Cara PSI Dihitung
Untuk setiap bucket, PSI mengalikan selisih persentase dengan log rasio kedua persentase tersebut, lalu menjumlahkannya di semua bucket menjadi satu skor.
import numpy as np
def psi(expected, actual):
return np.sum((actual - expected) * np.log(actual / expected))Pembagian ke Bucket Didahulukan
PSI memerlukan kedua sampel ditempatkan ke bucket yang sama, biasanya desil dari data pelatihan. Batas yang sama untuk kedua sisi menjaga perbandingan tetap adil.
edges = np.quantile(reference, np.linspace(0, 1, 11))
exp = np.histogram(reference, edges)[0] / len(reference)
act = np.histogram(current, edges)[0] / len(current)Apa yang Diukur Pengujian KS
Pengujian Kolmogorov-Smirnov menemukan kesenjangan terbesar antara dua distribusi kumulatif. Jarak maksimum tersebut adalah statistik KS.
KS dalam Satu Baris
SciPy menyediakan pengujian KS secara langsung. Nilai p yang kecil berarti kedua sampel kemungkinan berasal dari distribusi yang berbeda, yang mengisyaratkan adanya pergeseran.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(reference, current)
drifted = pvalue < 0.05PSI dibandingkan dengan KS
PSI memberikan satu skor tingkat keparahan yang cocok untuk dasbor. KS memberikan nilai p statistik yang cocok untuk keputusan ya atau tidak. Banyak tim memantau keduanya secara berdampingan.
Fitur Kategorikal
PSI secara alami dapat digunakan pada kategori, dengan memperlakukan setiap nilai sebagai bucket tersendiri. KS mengasumsikan angka berurutan, jadi gunakan khi-kuadrat untuk fitur kategorikal.
Perhatikan Ukuran Sampel
Pada sampel yang sangat besar, pengujian KS dapat menandai perubahan kecil yang tidak berbahaya sebagai signifikan. Pasangkan nilai p-nya dengan ukuran efek seperti PSI sebelum memunculkan alarm.
Per Fitur, Lalu Rangkum
Jalankan pengujian ini untuk setiap fitur, lalu buat rangkuman. Sinyal yang berguna adalah persentase fitur yang mengalami pergeseran, yang menunjukkan apakah perubahan tersebut luas atau terbatas. 📊
Pemeriksaan Singkat
Pilih interpretasi yang tepat untuk angka-angka ini.
Ringkasan
Anda mengubah pergeseran menjadi angka: PSI mengukur tingkat keparahan menggunakan bucket, sedangkan KS mengukur kesenjangan distribusi terbesar. Gunakan keduanya, perhatikan ukuran sampel, dan pilih pengujian yang tepat untuk setiap jenis fitur. 🎯
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Ukur Drift dengan PSI dan KS” gratis?
Ya — teks lengkap “Ukur Drift dengan PSI dan KS” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus MLOps Academy, upgrade ke CoddyKit PRO. Kursus MLOps Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Ukur Drift dengan PSI dan KS”?
Kuantifikasi perubahan distribusi pada setiap fitur. Kamu berlatih MLOps Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai MLOps Academy?
Tidak diperlukan pengalaman sebelumnya. MLOps Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Ukur Drift dengan PSI dan KS” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran MLOps Academy ini?
Ya. Setiap pelajaran MLOps Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Drift Data vs Drift Konsep
- Ukur Drift dengan PSI dan KS
- Buat Laporan Drift dengan Evidently
- Tetapkan Ambang dan Pemicu Drift