Git für KI-Projekte

Git verfolgt Änderungen an Ihrem Code, damit Sie zusammenarbeiten, Fehler rückgängig machen und den Verlauf prüfen können. KI-Projekte bringen jedoch eine Besonderheit mit sich: Große Datendateien und Binärmodelle gehören nicht in Git.

Diese Lektion behandelt eine sinnvolle .gitignore und die Verwendung von DVC zur Datenversionsverwaltung.

Git spielt seine Stärken bei Text aus: Quellcode, Konfigurationen, Notebooks (mit gelöschten Ausgaben) und Dokumentation. Für Textdateien speichert Git effiziente Diffs.

Mit großen Binärdateien kann Git schlecht umgehen — jede Version wird vollständig gespeichert und bläht das Repository dauerhaft auf.

Das Committen eines 2-GB-Datensatzes oder eines 500-MB-Modells:

• Bläht das Repository auf und verlangsamt jeden Klonvorgang
• Kann nicht sinnvoll verglichen werden
• Bleibt dauerhaft im Verlauf, selbst wenn die Datei gelöscht wird

Die Lösung: Ignorieren Sie diese Dateien in Git und verwalten Sie ihre Versionen mit einem spezialisierten Tool.

.gitignore enthält Muster für Dateien, die Git nicht verfolgen soll. Erstellen Sie sie im Stammverzeichnis des Projekts. Jede Zeile ist ein Glob-Muster.

Übliche Ignore-Muster für KI-Projekte:

• *.pkl, *.joblib, *.h5 — serialisierte Modelle
• __pycache__/, *.pyc — Python-Bytecode
• .ipynb_checkpoints/ — automatische Jupyter-Speicherungen
• .env — Geheimnisse und API-Schlüssel (niemals committen!)

Git ignoriert leere Verzeichnisse. Damit data/raw/ in der Repository-Struktur erhalten bleibt, während sein Inhalt ignoriert wird, fügen Sie eine leere Datei .gitkeep und eine Negation hinzu.

DVC (Data Version Control) verwaltet die Versionen großer Datenmengen und Modelle zusammen mit Git. Git verfolgt kleine .dvc-Zeigerdateien; die eigentlichen Daten liegen in einem entfernten Speicher (S3, GCS usw.).

So erhalten Sie reproduzierbare Datenversionen, ohne das Git-Repository aufzublähen.

Initialisieren Sie DVC in einem bestehenden Git-Repository. Dabei werden ein Verzeichnis .dvc/ und eine Konfiguration erstellt, die Sie in Git committen.

dvc add beginnt mit der Versionsverwaltung einer Datei oder eines Ordners. DVC verschiebt die Daten in seinen Cache und erstellt eine kleine .dvc-Zeigerdatei. Sie committen den Zeiger in Git, nicht die Daten.

Konfigurieren Sie einen entfernten Speicher. Anschließend lädt dvc push Daten dorthin hoch, während dvc pull die zum aktuellen Git-Commit passende Version herunterlädt. So teilen Teammitglieder Daten.

Der Git- und DVC-Ablauf verknüpft Code- und Datenversionen:

• git pull, um den neuesten Code und die .dvc-Zeiger abzurufen
• dvc pull, um die passenden Daten und Modelle abzurufen
• Arbeiten Sie weiter und führen Sie anschließend dvc add + git commit + dvc push aus

Wenn Sie einen alten Commit auschecken und dvc pull ausführen, stellen Sie genau diesen Zustand wieder her.

Ihr Projekt enthält einen 1 GB großen Trainingsdatensatz und eine 300 MB große Modelldatei.

Sie haben die versionsverwaltungsspezifischen Besonderheiten von KI-Projekten kennengelernt:

• Git für Text (Code, Konfigurationen, Notebooks), nicht für große Binärdateien
• Eine .gitignore für *.pkl, data/raw/*, __pycache__ und .env
• .gitkeep, um leere Ordner zu erhalten
• DVC: dvc init, dvc add, dvc push/pull, um Daten und Modelle zu versionieren
• Der Git- und DVC-Workflow hält Code und Daten synchron

Als Nächstes: Experimente reproduzierbar machen.