Menilai Model Pertama Anda

Melatih model hanyalah separuh pekerjaan. Selanjutnya, Anda perlu menanyakan hal yang sebenarnya: seberapa baik model tersebut memprediksi? 🧐

Setiap penaksir menyediakan metode score yang mengembalikan satu angka untuk merangkum kinerja. Satu panggilan, satu penilaian cepat.

Anda memberikan fitur dan jawaban sebenarnya, sehingga score dapat membandingkan prediksinya dengan hasil yang benar-benar terjadi.

Untuk regressor, score mengembalikan R kuadrat: bagian dari variasi sasaran yang berhasil dijelaskan oleh model Anda.

R kuadrat sebesar 1,0 berarti pencocokan sempurna, sedangkan 0,0 tidak lebih baik daripada menebak rata-rata. Nilai yang lebih tinggi lebih baik, dan nilainya bahkan dapat negatif.

Selalu lakukan penilaian pada data yang belum pernah dilihat model. Nilai pelatihan yang bagus dengan nilai pengujian yang buruk merupakan tanda klasik overfitting.

Untuk perincian yang lebih mendalam, modul metrik menyediakan banyak ukuran. Anda membandingkan nilai sebenarnya dan nilai prediksi secara langsung dengan fungsi yang dipilih.

Kesalahan absolut rata-rata menunjukkan kesalahan tipikal dalam satuan sasaran itu sendiri. Ukuran ini sangat mudah dijelaskan kepada siapa pun.

Untuk penentu kelas, metode score mengembalikan akurasi: proporsi label yang diprediksi dengan benar. Nama metodenya sama, tetapi maknanya berbeda.

Satu metrik tidak pernah menceritakan keseluruhan keadaan. Padukan dengan grafik dan beberapa ukuran sebelum mempercayai sebuah model.

Sebuah skor hanya bermakna jika dibandingkan dengan tolok ukur, seperti selalu memprediksi rata-rata. Kalahkan tebakan sederhana itu untuk membuktikan nilai yang nyata.

Gunakan score untuk mendapatkan R kuadrat dengan cepat, gunakan metrik seperti MAE untuk perincian, dan selalu lakukan pengujian pada data yang belum pernah dilihat dengan membandingkannya terhadap tolok ukur. 🏁