Pipeline completo para dados desbalanceados

Agora você encadeará cada correção em um fluxo organizado. Um único fluxo de processamento mantém a vetorização, a reamostragem e a criação do modelo na ordem correta.

Comece com uma divisão estratificada para que os conjuntos de treinamento e teste mantenham a mesma proporção da classe rara. Isso protege uma avaliação confiável.

Transforme o texto bruto em números com TF-IDF para que o classificador tenha atributos com os quais aprender.

Use um Pipeline do imblearn para que o SMOTE seja executado somente nas partições de treinamento, sem vazamento para a validação ou o teste.

Liste as etapas na ordem: vetorizador, depois SMOTE e, por fim, o modelo. O fluxo de processamento as executa como um único objeto ajustado.

Chame fit em todo o fluxo de processamento. Cada etapa é treinada em sequência usando somente seus dados de treinamento.

Ignore a exatidão bruta. Um relatório de classificação mostra claramente a precisão, a revocação e o F1 da classe rara.

Combine o fluxo de processamento com validação cruzada estratificada para que a reamostragem seja refeita dentro de cada partição.

Obtenha as probabilidades do fluxo de processamento e escolha um limiar que alcance sua revocação desejada nos dados de validação.

Persista todo o fluxo de processamento ajustado com joblib para que, mais tarde, a inferência repita cada etapa automaticamente.

Como a vetorização, o equilíbrio e a criação do modelo ficam juntos, seus resultados permanecem reproduzíveis e livres de vazamentos sutis. 🚀

Estratifique, vetorize, reamostre dentro de um fluxo de processamento, avalie pelo F1 e pela revocação, ajuste o limiar e salve tudo. 🚀