Git pour les projets d’IA

Git suit les modifications apportées à votre code afin que vous puissiez collaborer, annuler les erreurs et consulter l’historique. Mais les projets d’IA ont une particularité : les fichiers de données volumineux et les modèles binaires n’ont pas leur place dans Git.

Cette leçon présente un fichier .gitignore pertinent et l’utilisation de DVC pour gérer les versions des données.

Git excelle avec le texte : code source, configurations, carnets (dont les sorties ont été effacées) et documentation. Il stocke efficacement les différences entre les versions des fichiers texte.

Il gère mal les fichiers binaires volumineux : chaque version est stockée intégralement, ce qui alourdit définitivement le dépôt.

Valider un jeu de données de 2 GB ou un modèle de 500 MB :

• Alourdit le dépôt et ralentit chaque clonage
• Ne permet pas de comparer les versions de manière utile
• Le laisse dans l’historique pour toujours, même après sa suppression

Solution : ignorez-les dans Git et gérez leurs versions avec un outil dédié.

.gitignore répertorie les motifs que Git ne doit pas suivre. Créez-le à la racine du projet. Chaque ligne est un motif générique.

Motifs d’exclusion courants pour l’IA :

• *.pkl, *.joblib, *.h5 — modèles sérialisés
• __pycache__/, *.pyc — bytecode Python
• .ipynb_checkpoints/ — sauvegardes automatiques de Jupyter
• .env — secrets et clés d’API (ne les validez jamais !)

Git ignore les répertoires vides. Pour conserver data/raw/ dans la structure du dépôt tout en ignorant son contenu, ajoutez un fichier .gitkeep vide et une règle de négation.

DVC (Data Version Control) gère les versions des données et des modèles volumineux parallèlement à Git. Git suit de petits fichiers pointeurs .dvc ; les données réelles sont stockées à distance (S3, GCS, etc.).

Vous obtenez des versions de données reproductibles sans alourdir le dépôt Git.

Initialisez DVC dans un dépôt Git existant. Cette commande crée un répertoire .dvc/ et une configuration que vous validez dans Git.

dvc add commence à suivre un fichier ou un dossier. DVC déplace les données vers son cache et crée un petit fichier pointeur .dvc. Vous validez le pointeur dans Git, et non les données.

Configurez un espace distant, puis dvc push y envoie les données et dvc pull télécharge la version correspondant à la validation Git actuelle. C’est ainsi que les membres de l’équipe partagent les données.

La boucle Git + DVC associe les versions du code et des données :

• git pull pour obtenir le dernier code et les pointeurs .dvc
• dvc pull pour récupérer les données et les modèles correspondants
• Travaillez, puis exécutez dvc add + git commit + dvc push

Revenir à une ancienne validation et exécuter dvc pull permet de reproduire exactement cet état.

Votre projet contient un jeu de données d’entraînement de 1 GB et un fichier de modèle de 300 MB.

Vous avez appris la gestion des versions adaptée à l’IA :

• Git pour le texte (code, configurations, carnets), mais pas pour les fichiers binaires volumineux
• Un fichier .gitignore pour *.pkl, data/raw/*, __pycache__ et .env
• .gitkeep pour préserver les dossiers vides
• DVC : dvc init, dvc add, dvc push/pull pour gérer les versions des données et des modèles
• Le flux de travail Git + DVC maintient le code et les données synchronisés

Ensuite : rendre les expériences reproductibles.