인공지능 프로젝트를 위한 Git

깃은 코드 변경 사항을 추적하므로 협업하고, 실수를 되돌리고, 변경 이력을 검토할 수 있습니다. 하지만 인공지능 프로젝트에는 한 가지 특성이 더 있습니다. 대용량 데이터 파일과 바이너리 모델은 깃에 저장하지 않아야 합니다.

이 단원에서는 적절한 .gitignore를 사용하고 데이터 버전 관리를 위해 DVC를 사용하는 방법을 다룹니다.

깃은 텍스트에 강합니다. 소스 코드, 구성 파일, 출력이 지워진 노트북, 문서 등을 효율적으로 처리하며 텍스트 파일의 변경 사항 비교를 저장합니다.

반면 대용량 바이너리는 잘 처리하지 못합니다. 모든 버전을 전체로 저장하므로 저장소가 영원히 비대해집니다.

2 GB 데이터 세트나 500 MB 모델을 커밋하면 다음과 같은 문제가 생깁니다.

• 저장소가 비대해져 모든 복제 작업이 느려집니다.
• 의미 있게 변경 사항을 비교할 수 없습니다.
• 삭제한 뒤에도 이력에 영원히 남습니다.

해결책은 깃에서 이를 무시하고 전용 도구로 버전 관리하는 것입니다.

.gitignore에는 깃이 추적하지 않아야 할 패턴을 나열합니다. 프로젝트 루트에 만드세요. 각 줄은 글로브 패턴입니다.

인공지능 프로젝트에서 흔히 사용하는 무시 패턴은 다음과 같습니다.

• *.pkl, *.joblib, *.h5 — 직렬화된 모델
• __pycache__/, *.pyc — 파이썬 바이트코드
• .ipynb_checkpoints/ — 주피터 자동 저장 파일
• .env — 비밀 정보 및 응용 프로그램 인터페이스 키(절대 커밋하지 마세요!)

깃은 빈 디렉터리를 무시합니다. 내용을 무시하면서 data/raw/를 저장소 구조에 유지하려면 빈 .gitkeep 파일과 부정 패턴을 추가합니다.

DVC(데이터 버전 관리)는 깃과 함께 대용량 데이터와 모델의 버전을 관리합니다. 깃은 작은 .dvc 포인터 파일을 추적하고, 실제 데이터는 원격 스토리지(S3, GCS 등)에 저장됩니다.

깃 저장소를 비대하게 만들지 않고도 재현 가능한 데이터 버전을 얻을 수 있습니다.

기존 깃 저장소 안에서 DVC를 초기화합니다. 깃에 커밋할 .dvc/ 디렉터리와 구성을 만듭니다.

dvc add는 파일이나 폴더의 추적을 시작합니다. DVC는 데이터를 캐시로 옮기고 작은 .dvc 포인터 파일을 만듭니다. 데이터가 아니라 포인터를 깃에 커밋합니다.

원격 저장소를 구성한 다음 dvc push로 데이터를 업로드하고, dvc pull로 현재 깃 커밋에 해당하는 버전을 다운로드합니다. 이것이 팀원들이 데이터를 공유하는 방법입니다.

깃과 DVC의 순환 과정은 코드 버전과 데이터 버전을 연결합니다.

• 최신 코드와 .dvc 포인터를 가져오려면 git pull
• 해당 데이터와 모델을 가져오려면 dvc pull
• 작업한 다음 dvc add + git commit + dvc push

이전 커밋으로 전환한 뒤 dvc pull을 실행하면 해당 시점의 상태를 정확히 재현할 수 있습니다.

프로젝트에 1 GB 학습 데이터 세트와 300 MB 모델 파일이 있습니다.

인공지능에 맞춘 버전 관리를 배웠습니다.

• 텍스트(코드, 구성 파일, 노트북)에는 깃을 사용하고 대용량 바이너리에는 사용하지 않음
• *.pkl, data/raw/*, __pycache__, .env를 위한 .gitignore
• 빈 폴더를 보존하는 .gitkeep
• DVC의 dvc init, dvc add, 데이터와 모델의 버전 관리를 위한 dvc push/pull
• 깃과 DVC 작업 흐름으로 코드와 데이터를 동기화

다음 주제: 실험을 재현 가능하게 만들기입니다.