Pendalaman Metrik Klasifikasi
Matriks kebingungan, presisi, recall, F1, ROC-AUC, kurva PR — memilih metrik yang tepat.
Pendalaman Metrik Klasifikasi adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.
Akurasi Tidak Cukup
Akurasi adalah proporsi prediksi yang benar, tetapi menyesatkan pada data yang tidak seimbang. Model yang hanya memprediksi kelas mayoritas dapat memperoleh skor 99% sekalipun tidak berguna untuk kelas minoritas.
Matriks Konfusi
Matriks konfusi memecah prediksi menjadi positif benar, positif palsu, negatif benar, dan negatif palsu. Matriks ini menjadi dasar bagi semua metrik lainnya.
from sklearn.metrics import confusion_matrix
y_true = [0, 1, 1, 0, 1, 0]
y_pred = [0, 1, 0, 0, 1, 1]
print(confusion_matrix(y_true, y_pred))
# rows = actual, columns = predictedPresisi
Presisi = TP / (TP + FP). Dari semua item yang diprediksi positif, berapa banyak yang benar-benar positif? Presisi tinggi berarti sedikit alarm palsu. Hal ini penting ketika positif palsu menimbulkan biaya besar (misalnya, penyaring spam).
from sklearn.metrics import precision_score
print(precision_score(y_true, y_pred))Sensitivitas
Sensitivitas = TP / (TP + FN). Dari semua positif aktual, berapa banyak yang berhasil kita tangkap? Sensitivitas tinggi berarti sedikit kasus yang terlewat. Hal ini penting ketika negatif palsu menimbulkan biaya besar (misalnya, skrining penyakit).
from sklearn.metrics import recall_score
print(recall_score(y_true, y_pred))Skor F1
Skor F1 adalah rata-rata harmonik presisi dan sensitivitas: 2 * P * R / (P + R). Skor ini menyeimbangkan keduanya dan berguna ketika Anda memerlukan satu angka pada data yang tidak seimbang.
from sklearn.metrics import f1_score, classification_report
print(f1_score(y_true, y_pred))
print(classification_report(y_true, y_pred))Kurva ROC dan AUC
Kurva ROC memetakan laju positif benar terhadap laju positif palsu di berbagai ambang. roc_auc_score merangkumnya: 1.0 berarti sempurna, sedangkan 0.5 berarti tebakan acak.
from sklearn.metrics import roc_auc_score
# needs probability scores, not hard labels
proba = model.predict_proba(Xte)[:, 1]
print(roc_auc_score(yte, proba))Kurva Presisi-PR
Kurva PR memetakan presisi terhadap sensitivitas di berbagai ambang. Kurva ini lebih informatif daripada ROC ketika kelas sangat tidak seimbang karena berfokus pada kelas positif.
from sklearn.metrics import precision_recall_curve
prec, rec, thresh = precision_recall_curve(yte, proba)
# plot rec (x) vs prec (y) to see the tradeoffPresisi Rata-Rata
average_precision_score merangkum kurva PR menjadi satu angka (luas di bawah kurva PR). Ini merupakan metrik ringkasan yang lebih disukai untuk klasifikasi biner yang tidak seimbang.
from sklearn.metrics import average_precision_score
print(average_precision_score(yte, proba))ROC AUC dibandingkan Presisi Rata-Rata
ROC AUC dapat terlihat terlalu optimistis pada data yang tidak seimbang karena negatif benar mendominasi. Presisi rata-rata mengabaikan negatif benar dan mencerminkan kinerja pada kelas positif yang jarang dengan lebih jujur.
Memilih Metrik yang Tepat
Gunakan F1 atau presisi rata-rata untuk masalah yang tidak seimbang. Gunakan ROC AUC untuk kualitas pemeringkatan yang seimbang. Pilih presisi ketika alarm palsu merugikan, dan sensitivitas ketika kasus yang terlewat merugikan. Selalu nyatakan prioritas Anda sebelum memilih.
Penyetelan Ambang
Sebagian besar metrik bergantung pada ambang keputusan (nilai bawaan 0.5). Dengan menggeser ambang, Anda menukar presisi dengan sensitivitas. Gunakan kurva PR untuk memilih ambang yang memenuhi persyaratan bisnis Anda.
import numpy as np
# pick threshold for at least 0.9 precision
idx = np.argmax(prec >= 0.9)
chosen = thresh[idx]
preds = (proba >= chosen).astype(int)Pemeriksaan Singkat
Uji pemahaman Anda tentang metrik.
Ringkasan
Ringkasan: Mulailah dari confusion_matrix. Presisi memberikan penalti untuk alarm palsu, sedangkan sensitivitas memberikan penalti untuk kasus yang terlewat; F1 menyeimbangkan keduanya. roc_auc_score mengukur kualitas pemeringkatan; average_precision_score dan kurva PR lebih baik untuk data yang tidak seimbang. Sesuaikan ambang agar sesuai dengan prioritas Anda.
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Pendalaman Metrik Klasifikasi” gratis?
Ya — teks lengkap “Pendalaman Metrik Klasifikasi” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Pendalaman Metrik Klasifikasi”?
Matriks kebingungan, presisi, recall, F1, ROC-AUC, kurva PR — memilih metrik yang tepat. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Learn AI with Python?
Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Pendalaman Metrik Klasifikasi” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?
Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Strategi Validasi Silang
- Pendalaman Metrik Klasifikasi
- Pencarian Grid dan Pencarian Acak
- Optimisasi Bayesian dengan Optuna