Сквозной конвейер для несбалансированных данных

Теперь Вы объедините все исправления в один чистый процесс. Один конвейер последовательно выполняет векторизацию, передискретизацию и построение модели.

Начните со стратифицированного раскола, чтобы в обучающей и тестовой выборках сохранялось одинаковое соотношение редкого класса. Это обеспечивает честную оценку.

Преобразуйте исходный текст в числа с помощью TF-IDF, чтобы у классификатора появились признаки для обучения.

Используйте конвейер imblearn, чтобы SMOTE выполнялся только на обучающих блоках и никогда не попадал в проверочные или тестовые данные.

Перечислите этапы по порядку: векторизатор, затем SMOTE, затем модель. Конвейер запускает их как один обученный объект.

Вызовите fit для всего конвейера. Каждый этап обучается последовательно, используя только Ваши обучающие данные.

Не ограничивайтесь общей точностью. classification_report наглядно показывает точность, полноту и F1 для редкого класса.

Объедините конвейер со стратифицированной перекрёстной проверкой, чтобы передискретизация заново выполнялась внутри каждого блока.

Получите вероятности из конвейера и выберите порог, при котором на проверочных данных достигается нужная Вам полнота.

Сохраните весь обученный конвейер с помощью joblib, чтобы позднее при применении модели каждый этап автоматически выполнялся снова.

Поскольку векторизация, балансировка и построение модели объединены, Ваши результаты остаются воспроизводимыми и защищёнными от незаметных утечек. 🚀

Стратифицируйте данные, векторизуйте их, выполняйте передискретизацию внутри конвейера, оценивайте модель по F1 и полноте, настраивайте порог, а затем сохраняйте всё. 🚀