Pipeline completa per dati sbilanciati

Ora collegherete ogni correzione in un unico flusso ordinato. Una sola pipeline mantiene vectorization, resampling e modellazione nella sequenza corretta.

Iniziate con una suddivisione stratificata, così training e test mantengono la stessa proporzione della classe rara. Questo protegge l'integrità della valutazione.

Trasformate il testo grezzo in numeri con TF-IDF, così il classificatore dispone di feature da cui apprendere.

Usate una Pipeline di imblearn, in modo che SMOTE venga eseguito solo sui fold di training, senza alcun leakage nella validazione o nel test.

Elencate le fasi nell'ordine corretto: vectorizer, poi SMOTE e infine il modello. La pipeline le esegue come un unico oggetto sottoposto a fit.

Chiamate fit sull'intera pipeline. Ogni passaggio viene addestrato in sequenza usando esclusivamente i dati di training.

Evitate l'accuracy grezza. Un classification report mostra chiaramente precision, recall e F1 della classe rara.

Abbinate la pipeline a una cross-validation stratificata, così il resampling viene eseguito da zero all'interno di ogni fold.

Ottenete le probabilità dalla pipeline e scegliete una soglia che raggiunga il recall desiderato sui dati di validazione.

Salvate l'intera pipeline sottoposta a fit con joblib, così in seguito l'inferenza ripeterà automaticamente ogni passaggio.

Poiché vectorization, bilanciamento e modellazione sono riuniti nello stesso oggetto, i risultati restano riproducibili e privi di leakage nascosti. 🚀

Un'ultima verifica sulle pipeline sicure.

Stratificate, eseguite la vectorization e il resampling all'interno di una pipeline, valutate usando F1 e recall, ottimizzate la soglia e infine salvate tutto. 🚀