Git per progetti di IA

Git tiene traccia delle modifiche al codice, così può collaborare, annullare gli errori e consultare la cronologia. Ma i progetti di IA aggiungono una complicazione: i file di dati enormi e i modelli binari non devono essere inclusi in Git.

Questa lezione illustra un file .gitignore sensato e l'uso di DVC per la gestione delle versioni dei dati.

Git dà il meglio con il testo: codice sorgente, configurazioni, notebook (con gli output cancellati) e documentazione. Memorizza diff efficienti dei file di testo.

Gestisce male i binari di grandi dimensioni: ogni versione viene memorizzata per intero, gonfiando il repository per sempre.

Eseguire il commit di un dataset da 2 GB o di un modello da 500 MB:

• Ingombrano il repository e rallentano ogni clone
• Non è possibile confrontarli in modo significativo
• Restano nella cronologia per sempre, anche dopo la loro eliminazione

La soluzione consiste nell'ignorarli in Git e gestirne le versioni con uno strumento dedicato.

.gitignore elenca i pattern che Git non deve tracciare. Lo crei nella directory principale del progetto. Ogni riga è un pattern glob.

Pattern comuni da ignorare nei progetti di IA:

• *.pkl, *.joblib, *.h5 — modelli serializzati
• __pycache__/, *.pyc — bytecode Python
• .ipynb_checkpoints/ — salvataggi automatici di Jupyter
• .env — segreti e chiavi API (non esegua mai il commit di questi file!)

Git ignora le directory vuote. Per mantenere data/raw/ nella struttura del repository ignorandone il contenuto, aggiunga un file .gitkeep vuoto e una negazione.

DVC (Data Version Control) gestisce le versioni di dati e modelli di grandi dimensioni insieme a Git. Git tiene traccia di piccoli file puntatore .dvc; i dati effettivi risiedono in uno storage remoto (S3, GCS ecc.).

Si ottengono versioni dei dati riproducibili senza appesantire il repository Git.

Inizializzi DVC all'interno di un repository Git esistente. Crea una directory .dvc/ e la configurazione, che dovrà eseguire il commit in Git.

dvc add avvia il tracciamento di un file o di una cartella. DVC sposta i dati nella propria cache e crea un piccolo file puntatore .dvc. Esegua il commit del puntatore in Git, non dei dati.

Configuri una destinazione remota, quindi dvc push vi carica i dati e dvc pull scarica la versione corrispondente al commit Git corrente. È così che i membri del team condividono i dati.

Il ciclo Git + DVC collega le versioni del codice e dei dati:

• git pull per ottenere il codice più recente e i puntatori .dvc
• dvc pull per recuperare i dati e i modelli corrispondenti
• Lavorare, quindi eseguire dvc add + git commit + dvc push

Ripristinando un commit precedente ed eseguendo dvc pull si riproduce esattamente quello stato.

Ha appreso il controllo delle versioni specifico per l'IA:

• Git per il testo (codice, configurazioni, notebook), non per i binari di grandi dimensioni
• Un file .gitignore per *.pkl, data/raw/*, __pycache__ e .env
• .gitkeep per preservare le cartelle vuote
• DVC: dvc init, dvc add, dvc push/pull per gestire le versioni di dati e modelli
• Il flusso di lavoro Git + DVC mantiene sincronizzati codice e dati

Prossimo argomento: rendere riproducibili gli esperimenti.