Профессиональная структура каталогов проекта искусственного интеллекта

Куча ноутбуков с именами final.ipynb, final2.ipynb и really_final.ipynb — верный путь к гибели проекта с ИИ. Согласованная структура каталогов делает проекты понятными, воспроизводимыми и удобными для совместной работы.

В этом уроке рассматривается широко используемая структура Cookiecutter Data Science.

Разделяйте данные по этапам обработки, чтобы исходные данные никогда не перезаписывались:

• data/raw/ — исходные неизменяемые данные
• data/processed/ — очищенные данные, готовые для модели
• data/interim/ — промежуточные преобразования

Считайте data/raw доступными только для чтения — вы всегда должны иметь возможность заново создать из них всё остальное.

Если ошибка при очистке повредит единственную копию данных, проект окажется под угрозой. Если не изменять data/raw, каждый обработанный файл можно воспроизвести, повторно запустив конвейер.

Обработанные результаты можно удалить; исходные данные неприкосновенны.

notebooks/ содержит исследовательские и отчётные ноутбуки. Обычно их нумеруют по этапам и добавляют инициалы, например 1.0-mk-eda.ipynb.

Ноутбуки предназначены для исследования; повторно используемую логику следует переносить в src/.

src/ содержит импортируемый код Python, разделённый по задачам:

• src/data/ — скрипты загрузки и обработки
• src/features/ — построение признаков
• src/models/ — код обучения и предсказаний
• src/visualization/ — графики и отчёты

Разделение построения признаков и моделирования по разным модулям окупается: вы можете проводить модульное тестирование кода признаков, повторно использовать его в разных ноутбуках и менять модели, не переписывая подготовку данных.

models/ хранит сериализованные обученные артефакты (например, model.pkl, model.joblib). Это результаты, а не исходный код.

Большие файлы моделей обычно не следует добавлять в Git — вместо этого отслеживайте их с помощью DVC или объектного хранилища (об этом — в следующем уроке).

reports/ содержит сгенерированные результаты для людей: reports/figures/ — графики, а в корне находится документ отчёта. Эти результаты создаются вашим кодом, поэтому их можно сгенерировать заново.

Дополните проект файлами на уровне проекта:

• requirements.txt или environment.yml — зависимости
• config.yaml — гиперпараметры и пути
• README.md — описание проекта и инструкции по его запуску
• .gitignore — файлы, которые Git должен пропускать

В итоге аккуратный проект с ИИ выглядит так:

Не нужно каждый раз создавать такую структуру вручную. Шаблон cookiecutter-data-science создаёт каркас всего проекта одной командой.

Вы загружаете исходный файл CSV от поставщика данных.

Вы изучили профессиональную структуру проекта с ИИ:

• data/raw (неизменяемые данные), data/processed для этапов обработки
• notebooks/ для исследования, src/features и src/models для повторно используемого кода
• models/ для артефактов, reports/ для результатов
• Конфигурация, зависимости, README и .gitignore в корне проекта
• cookiecutter-data-science для мгновенного создания каркаса

Далее: эффективное использование Git в проектах с ИИ.