Git para proyectos de IA

Git realiza un seguimiento de los cambios en el código para que pueda colaborar, revertir errores y consultar el historial. Sin embargo, los proyectos de IA añaden una dificultad: los archivos de datos grandes y los modelos binarios no deben estar en Git.

Esta lección aborda un archivo .gitignore adecuado y el uso de DVC para versionar datos.

Git destaca con el texto: código fuente, archivos de configuración, notebooks (con los resultados borrados) y documentación. Almacena diferencias eficientes de los archivos de texto.

Gestiona mal los binarios grandes: cada versión se almacena completa, lo que aumenta el tamaño del repositorio para siempre.

Confirmar un conjunto de datos de 2 GB o un modelo de 500 MB:

• Aumenta el tamaño del repositorio y ralentiza cada clonación
• No permite realizar diferencias significativas
• Permanece en el historial para siempre, incluso después de eliminarlo

Solución: omítalos en Git y gestiónelos con una herramienta específica de control de versiones.

.gitignore enumera los patrones que Git no debe seguir. Créelo en la raíz del proyecto. Cada línea es un patrón glob.

Patrones habituales para omitir en proyectos de IA:

• *.pkl, *.joblib, *.h5 — modelos serializados
• __pycache__/, *.pyc — bytecode de Python
• .ipynb_checkpoints/ — guardados automáticos de Jupyter
• .env — secretos y claves de API (¡no los confirme nunca!)

Git omite los directorios vacíos. Para conservar data/raw/ en la estructura del repositorio e ignorar su contenido, añada un archivo .gitkeep vacío y una negación.

DVC (Data Version Control) permite versionar datos y modelos grandes junto con Git. Git realiza el seguimiento de pequeños archivos puntero .dvc; los datos reales se almacenan de forma remota (en S3, GCS, etc.).

Así obtiene versiones reproducibles de los datos sin aumentar innecesariamente el tamaño del repositorio de Git.

Inicializa DVC dentro de un repositorio de Git existente. Crea un directorio .dvc/ y una configuración que debe confirmar en Git.

dvc add comienza a seguir un archivo o una carpeta. DVC mueve los datos a su caché y crea un pequeño archivo puntero .dvc. Debe confirmar el puntero en Git, no los datos.

Configure un remoto; después, dvc push carga los datos en él y dvc pull descarga la versión que coincide con el commit actual de Git. Así es como los miembros del equipo comparten datos.

El ciclo de Git + DVC mantiene sincronizadas las versiones del código y los datos:

• git pull para obtener el código más reciente y los punteros .dvc
• dvc pull para descargar los datos y modelos correspondientes
• Trabaje y, después, ejecute dvc add + git commit + dvc push

Al cambiar a un commit antiguo y ejecutar dvc pull, reproduce exactamente ese estado.

Su proyecto tiene un conjunto de datos de entrenamiento de 1 GB y un archivo de modelo de 300 MB.

Ha aprendido el control de versiones específico para IA:

• Git para texto (código, configuración y notebooks), no para binarios grandes
• Un .gitignore para *.pkl, data/raw/*, __pycache__ y .env
• .gitkeep para conservar carpetas vacías
• DVC: dvc init, dvc add y dvc push/pull para versionar datos y modelos
• El flujo de trabajo Git + DVC mantiene sincronizados el código y los datos

Siguiente: hacer que los experimentos sean reproducibles.