Pourquoi mettre un jeu de test de côté

Un modèle qui mémorise vos données paraît brillant sur celles-ci. La vraie question est de savoir comment il se comporte sur des données qu’il n’a jamais vues.

Vous mettez donc de côté une partie de vos données et ne l’utilisez jamais pour l’entraînement. Cette portion conservée à l’écart constitue votre ensemble de test, réservé à la toute fin.

Le modèle apprend uniquement à partir de l’ensemble d’entraînement. Vous l’évaluez ensuite sur l’ensemble de test intact pour voir comment il se généralise réellement. 🎯

Évaluer le modèle sur les mêmes lignes que celles utilisées pour son apprentissage revient à corriger un test avec le corrigé sous les yeux. Ce nombre le flatte et surestime ses compétences.

La qualité de l’ajustement aux anciennes données ne vous importe pas. Ce qui compte, c’est la généralisation : produire de bonnes prédictions sur les nouvelles lignes, encore inconnues, de demain.

Lorsqu’un modèle réussit parfaitement sur les données d’entraînement mais échoue sur l’ensemble de test, il y a surajustement. Il a mémorisé le bruit au lieu d’apprendre le véritable motif.

Un choix simple et courant consiste à entraîner le modèle sur environ 80 % des lignes et à tester les 20 % restants. Vous disposez de suffisamment de données pour apprendre et pour évaluer équitablement le modèle.

L’ensemble de test est sacré. Si vous le consultez sans cesse et modifiez le modèle jusqu’à obtenir un bon score, vous l’avez discrètement introduit dans vos décisions.

Dans scikit-learn, une fonction auxiliaire effectue la séparation à votre place. Elle mélange vos données et les divise en parties d’entraînement et de test en un seul appel.

Le score obtenu sur l’ensemble de test est votre estimation honnête des performances en conditions réelles. Faites-lui davantage confiance qu’à n’importe quel score d’entraînement exceptionnel.

Mettre des données de côté n’est pas une simple formalité administrative. C’est l’habitude qui vous empêche de livrer un modèle qui n’a jamais fonctionné que sur le papier.

Vous divisez les données, apprenez sur la partie d’entraînement et évaluez le modèle sur un ensemble de test sacré. Cette portion intacte vous donne une mesure honnête de ses performances en conditions réelles. 🎯