Остановите утечку данных до её появления

Утечка данных возникает, когда тестовая информация проникает в обучение. Оценки выглядят великолепно, а затем рушатся в реальном мире.

Утечка позволяет модели заглянуть в ответы, которые она не должна видеть. Оценка на тестовой выборке превращается в фантазию, а не в прогноз будущего качества.

Масштабирование или заполнение пропусков во всём наборе данных до разделения приводит к утечке. Тестовые строки незаметно повлияли на Ваши статистики предварительной обработки.

Всегда вызывайте fit для преобразователей только на обучающих данных. Вычисляйте среднее, масштаб или значения для заполнения по обучающей выборке, а не по тестовой.

После обучения на обучающей выборке просто примените transform к тестовой выборке, используя полученные значения. Тестовые данные преобразуются, но не используются для расчётов.

Более скрытый вид — это утечка целевого показателя: признак, который тайно содержит ответ, например использование отметки о возврате для прогнозирования возвратов.

Во временных данных использование значения, записанного после момента прогноза, приводит к утечке информации о будущем. Используйте только сведения, доступные на момент принятия решения.

Объедините предварительную обработку и модель в конвейер. Он заново обучает преобразования на каждом обучающем блоке и автоматически блокирует утечку.

Передайте в перекрёстную проверку весь конвейер. Тогда масштабирование обучается внутри каждого блока, и ни один тестовый блок не участвует в обучении.

Почти идеальная оценка — это тревожный сигнал, а не повод для награды. Реальные задачи содержат шум, поэтому сначала проведите исследование, а уже потом празднуйте.

Всё, чему модель учится на данных, должно вычисляться только по обучающей выборке. Держите тестовую выборку запечатанной до единственной финальной оценки. 🔒

Утечка завышает оценки, потому что ответы проникают в обучение. Выполняйте преобразования только на обучающей выборке, используйте конвейер и держите тестовую выборку запечатанной. 🔒