Test Kümesini Neden Ayırırsınız

Verilerinizi ezberleyen bir model, bu veriler üzerinde harika görünür. Asıl soru, modelin hiç görmediği veriler üzerinde nasıl performans gösterdiğidir.

Bu nedenle verilerinizin bir kısmını ayırır ve onunla asla eğitim yapmazsınız. Kilit altında tuttuğunuz bu bölüm, en sona saklanan test kümenizdir.

Model yalnızca eğitim kümesinden öğrenir. Ardından gerçekten genelleyip genellemediğini görmek için dokunulmamış test kümesi üzerinde değerlendirme yaparsınız. 🎯

Öğrendiği satırlar üzerinde puanlama yapmak, yanıt anahtarı açıkken sınav değerlendirmeye benzer. Bu sayı modeli olduğundan iyi gösterir ve becerisini abartır.

Eski verilere ne kadar iyi uyduğuyla ilgilenmezsiniz. İlgilendiğiniz şey genellemedir: yarının yeni ve görülmemiş satırlarında iyi tahminler yapabilmek.

Bir model eğitim verilerini kusursuz öğrenip test kümesinde başarısız olduğunda buna aşırı uyum denir. Gerçek örüntüyü öğrenmek yerine gürültüyü ezberlemiştir.

Basit ve yaygın bir seçim, satırların yaklaşık %80'i ile eğitim yapmak ve kalan %20 ile test etmektir. Öğrenmek için daha fazla veri, adil değerlendirme için de yeterli veri kalır.

Test kümesi dokunulmazdır. Puan iyi görünene kadar tekrar tekrar inceleyip ayar yaparsanız, onu kararlarınıza fark ettirmeden sızdırmış olursunuz.

scikit-learn'de bölme işlemini sizin için yapan bir yardımcı bulunur. Tek bir çağrıyla verilerinizi karıştırır ve eğitim ile test bölümlerine ayırır.

Test kümesindeki score, gerçek dünyadaki performansınızın dürüst bir tahminidir. Ona, göz kamaştırıcı herhangi bir eğitim score'undan daha fazla güvenin.

Verileri ayırmak gereksiz bir bürokrasi değildir. Bir modelin yalnızca kâğıt üzerinde işe yararken kullanıma sunulmasını engelleyen en önemli alışkanlıktır.

Verileri böler, eğitim bölümünde öğrenir ve dokunulmaz bir test kümesi üzerinde değerlendirirsiniz. Bu dokunulmamış bölüm, gerçek dünyadaki becerinizin dürüst göstergesidir. 🎯