Salvare i modelli con joblib e pickle

Addestrare un modello di machine learning è costoso: può richiedere da alcuni minuti a diverse ore e consumare notevoli risorse di calcolo. La persistenza del modello salva su disco il modello adattato, così da poterlo ricaricare immediatamente per l’inferenza senza ripetere l’addestramento. Questo costituisce il collegamento tra il notebook di data science e un sistema di produzione: il file del modello serializzato è l’artefatto distribuibile che i data engineer preparano e mettono a disposizione.

Quando si serializza un modello o una pipeline sklearn adattati, il file contiene: tutti i parametri adattati, come media e varianza dello scaler, struttura dell’albero e coefficienti della regressione logistica; le impostazioni degli iperparametri; e il riferimento alla definizione della classe Python. I dati di addestramento NON sono inclusi. Il caricamento del file ricostruisce un oggetto Python pronto per chiamare immediatamente predict.

joblib è lo strumento di serializzazione consigliato per gli oggetti sklearn. Gestisce in modo efficiente i grandi array NumPy usando il memory mapping e supporta la compressione trasparente. Il flusso di lavoro standard consiste nell’addestrare il modello, salvarlo in un file .joblib e poi caricarlo in uno script o servizio separato per l’inferenza.

joblib.load deserializza il file e restituisce esattamente l’oggetto pipeline adattato. Il modello caricato possiede gli stessi attributi dell’originale, tra cui named_steps, i parametri adattati dello scaler e i coefficienti del classificatore. È possibile chiamare immediatamente predict, predict_proba o score senza alcuna configurazione aggiuntiva.

Anche il modulo pickle della libreria standard di Python serializza gli oggetti sklearn. Apra i file in modalità binaria: 'wb' per la scrittura e 'rb' per la lettura. La costante pickle.HIGHEST_PROTOCOL usa il protocollo più efficiente disponibile. Per i modelli piccoli o nei contesti di scripting, pickle è assolutamente adeguato.

Per un modello grande, come un RandomForest con 1000 alberi, la memorizzazione degli array NumPy tramite memory mapping di joblib è più efficiente. La differenza è particolarmente evidente quando il modello contiene grandi matrici di parametri. Per i modelli piccoli, come LogReg e SVM, la differenza di dimensioni è trascurabile.

Utilizzi joblib.dump(model, path, compress=3) per comprimere il file usando zlib. I livelli di compressione vanno da 1 (veloce, file più grande) a 9 (lento, file più piccolo). Il livello 3 è un valore predefinito pratico. Per la compressione LZ4 (più veloce di zlib): compress=('lz4', 1). Il tempo di caricamento aumenta leggermente per i file compressi, ma il risparmio nel trasferimento di rete e nello spazio di archiviazione vale spesso la pena.

Dopo il caricamento, verifichi sempre che il modello caricato produca previsioni identiche a quelle del modello originale. In questo modo si prevengono corruzioni silenziose, incompatibilità tra versioni o scritture incomplete del file. Confronti le previsioni con np.array_equal sullo stesso input.

Un modello serializzato con scikit-learn 1.2 potrebbe non essere caricato correttamente in scikit-learn 1.5 a causa di modifiche interne. Salvi sempre un file di metadati insieme al modello, indicando: versione di sklearn, versione di Python, data di addestramento, versione del dataset e metriche principali. Questa è la model card del modello, il documento di governance che spiega che cos'è il modello e come è stato prodotto.

Avviso di sicurezza fondamentale: sia pickle sia joblib possono eseguire codice Python arbitrario durante il caricamento. Non carichi mai un file di modello proveniente da una fonte non attendibile: potrebbe trattarsi di un payload dannoso camuffato da modello. Per i modelli condivisi tra organizzazioni, valuti formati più sicuri: ONNX (Open Neural Network Exchange) è un formato standardizzato e ispezionabile, supportato dalla maggior parte dei framework.

Le buone convenzioni di denominazione incorporano nel nome del file le informazioni principali: algoritmo, dataset, data e metrica. In questo modo il registro dei modelli è autoesplicativo e si evita di caricare accidentalmente in produzione la versione errata del modello.

In questa lezione ha imparato che: joblib.dump e joblib.load serializzano e ripristinano in modo efficiente i modelli sklearn addestrati; pickle funziona, ma joblib è preferibile per i modelli con grandi array NumPy grazie al memory mapping; inoltre, è necessario salvare sempre un file di metadati insieme al modello, indicando le versioni delle librerie, la data di addestramento e le metriche principali per la governance. Prossimamente progetteremo una convenzione per i nomi delle versioni e un sidecar di metadati per tenere traccia di più versioni del modello in un registro dei modelli.