Observabilitas dan Pemantauan Sistem Kecerdasan Buatan
Dasbor kinerja model, peringatan pergeseran data, loop umpan balik, penerapan mode bayangan.
Observabilitas dan Pemantauan Sistem Kecerdasan Buatan adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.
Mengapa Memantau Sistem Pembelajaran Mesin
Model yang sudah di-deploy belum selesai. Lalu lintas dapat melonjak, latensi perlahan meningkat, dan dunia berubah sehingga data bergeser menjauh dari data pelatihan. Observabilitas memberi tahu Anda apakah sistem sehat dan apakah model masih akurat, sebelum pengguna merasakan dampaknya.
Dua Jenis Pemantauan
Observabilitas pembelajaran mesin mencakup dua lapisan:
- Operasional: latensi, kapasitas pemrosesan, kesalahan, dan penggunaan sumber daya (seperti layanan apa pun)
- Model: pergeseran data, distribusi prediksi, dan akurasi dari waktu ke waktu (khusus pembelajaran mesin)
Prometheus untuk Metrik
Prometheus adalah sistem standar untuk mengumpulkan metrik deret waktu. Layanan Anda menyediakan titik akhir metrik; Prometheus mengambil data tersebut secara berkala dan menyimpan nilainya untuk kueri serta pemberian peringatan.
Mengukur Latensi
Anda mencatat latensi inferensi dengan histogram Prometheus. Histogram memungkinkan Anda menghitung persentil, cara yang tepat untuk merangkum latensi, alih-alih menggunakan rata-rata yang dapat menyesatkan.
from prometheus_client import Histogram
INFER_LATENCY = Histogram(
"inference_latency_seconds",
"Model inference latency",
)
@INFER_LATENCY.time()
def predict(x):
return model(x)Latensi P50 dan P95
Laporkan latensi sebagai persentil. P50 (median) menunjukkan pengalaman yang umum; P95 menunjukkan ekor lambat yang melampaui batas pada 5% permintaan. Memantau P95 dapat menemukan masalah yang disembunyikan oleh rata-rata, karena beberapa permintaan yang lambat tetap merugikan pengguna.
Dasbor Grafana
Grafana memvisualisasikan metrik Prometheus sebagai dasbor langsung. Dasbor model biasanya menampilkan laju permintaan, laju kesalahan, latensi P50/P95, dan distribusi prediksi dalam satu layar agar kesehatan sistem dapat dilihat sekilas.
Apa Itu Pergeseran Data
Pergeseran data terjadi ketika distribusi input aktual menjauh dari distribusi pelatihan. Model di-fit menggunakan pola lama, sehingga saat input bergeser, akurasinya menurun secara diam-diam meskipun tidak ada kode yang berubah.
Indeks Stabilitas Populasi
Indeks Stabilitas Populasi (PSI) mengukur pergeseran dengan membandingkan distribusi suatu fitur saat ini dengan distribusinya saat pelatihan. Kedua distribusi tersebut dibagi ke dalam beberapa kelompok, lalu rasio log berbobot dari setiap kelompok dijumlahkan.
# PSI = sum over bins of
# (actual_pct - expected_pct) * ln(actual_pct / expected_pct)Menafsirkan PSI
Ambang batas PSI yang umum digunakan:
- PSI < 0.1: tidak ada pergeseran signifikan
- 0.1 hingga 0.2: pergeseran sedang, perlu diselidiki
- PSI > 0.2: pergeseran signifikan, model kemungkinan perlu dilatih ulang
Membuat peringatan saat PSI melewati 0.2 merupakan praktik yang umum.
Siklus Umpan Balik
Sinyal pemantauan yang paling berharga adalah hasil nyata. Siklus umpan balik mengumpulkan koreksi pengguna dan label acuan, misalnya apakah rekomendasi diklik atau apakah penandaan penipuan sudah benar, lalu memasukkannya kembali sebagai data pelatihan baru.
Menutup Siklus dengan Pelatihan Ulang
Deteksi pergeseran dan siklus umpan balik secara bersama-sama memicu pelatihan ulang: ketika PSI melewati ambang batas atau akurasi pada label baru menurun, alur kerja melatih ulang model menggunakan data terbaru lalu menerapkannya kembali. Dengan demikian, model tetap selaras dengan dunia yang terus berubah.
Cek Cepat
Uji pengetahuan Anda tentang observabilitas.
Ringkasan
Anda telah mempelajari observabilitas dan pemantauan sistem AI:
- Prometheus mengumpulkan metrik; laporkan latensi inferensi sebagai P50/P95
- Dasbor Grafana memvisualisasikan kondisi sistem secara sekilas
- Pergeseran data diukur dengan PSI; PSI > 0.2 berarti model perlu dilatih ulang
- Siklus umpan balik mengubah koreksi pengguna menjadi data untuk pelatihan ulang
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Observabilitas dan Pemantauan Sistem Kecerdasan Buatan” gratis?
Ya — teks lengkap “Observabilitas dan Pemantauan Sistem Kecerdasan Buatan” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Observabilitas dan Pemantauan Sistem Kecerdasan Buatan”?
Dasbor kinerja model, peringatan pergeseran data, loop umpan balik, penerapan mode bayangan. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Learn AI with Python?
Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Observabilitas dan Pemantauan Sistem Kecerdasan Buatan” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?
Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Pola Arsitektur Sistem Kecerdasan Buatan
- Pipeline Pembelajaran Mesin yang Skalabel dengan Airflow
- Penyimpanan Fitur: Feast dan Tecton
- Observabilitas dan Pemantauan Sistem Kecerdasan Buatan