Waarom Git alleen geen data kan vers beheren

Git is gebouwd voor broncode: kleine tekstbestanden die regel voor regel veranderen. Uw gegevensverzamelingen zijn vaak gigabytes aan binaire gegevens, een totaal ander soort bestand.

Git bewaart voor altijd een volledige momentopname van elke bestandsversie. Leg een bestand van 2 GB tien keer vast en uw opslagplaats kan richting 20 GB aan geschiedenis groeien. 😬

Git blinkt uit bij tekst omdat het verschillen per regel kan tonen. Bij binaire bestanden zoals afbeeldingen of parquet kan het geen betekenisvolle verschillen tonen en bewaart het gewoon de volledige nieuwe kopie.

Omdat de geschiedenis in de opslagplaats zit, moet een teamgenoot bij het klonen ook elke eerdere versie van de gegevensverzameling downloaden. Een eenvoudige kloon kan enorm lang duren en de schijf vullen.

GitHub beperkt afzonderlijke bestanden tot 100 MB en geeft een waarschuwing boven 50 MB. De meeste echte gegevensverzamelingen gaan daar ruim overheen, waarna de push wordt geweigerd.

Git LFS vervangt grote bestanden door verwijzingen en verlicht zo het formaatprobleem. Maar het mist ML-functies zoals gegevenspijplijnen, externe opslag per project en reproduceerbare gegevensfasen.

Een experiment is alleen betrouwbaar als u de exacte gegevens die het gebruikte opnieuw kunt maken. Git alleen kan een commit niet betrouwbaar aan een specifieke momentopname van een gegevensverzameling koppelen.

De oplossing is een klein verwijzingsbestand in Git te bewaren dat de gegevens benoemt, terwijl de zware bytes in goedkope objectopslag staan. Git volgt de verwijzing, niet de inhoud.

DVC (Data Version Control) doet precies dit. Het combineert Git voor code met een aparte cache en externe opslag voor gegevens, zodat u Git-achtige opdrachten voor gegevensverzamelingen krijgt.

Met DVC herstelt het uitchecken van een oude Git-commit ook de bijbehorende gegevensversie. Uw code en gegevensverzameling bewegen samen als één consistent geheel.

DVC leent het denkmodel van Git: u voegt gegevens toe, legt ze vast, pusht ze en checkt ze uit. Als u de basis van Git kent, begrijpt u DVC al voor de helft. 🎉

Git is geweldig voor code, maar loopt vast op grote binaire gegevens: de geschiedenis wordt enorm en formaatlimieten worden bereikt. DVC bewaart kleine verwijzingen in Git en houdt de zware gegevens elders synchroon.