Oppikaa tekoälyä Pythonilla · Oppitunti

Git tekoälyprojekteissa

git init, .gitignore dataa ja malleja varten, notebookien commitoiminen ja DVC datan versiointiin.

Oppitunti 2/413 vaihetta

Git tekoälyprojekteissa on ilmainen Oppikaa tekoälyä Pythonilla-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu Oppikaa tekoälyä Pythonilla-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Oppikaa tekoälyä Pythonilla-kurssilla on yhteensä 4 oppituntia.

Git tekoälyprojekteissa

Git seuraa koodiin tehtyjä muutoksia, joten sen avulla voitte tehdä yhteistyötä, perua virheitä ja tarkastella historiaa. Tekoälyprojekteissa on kuitenkin erityispiirre: suuret datatiedostot ja binäärimallit eivät kuulu Gitiin.

Tässä oppitunnissa käsitellään järkevää .gitignore-tiedostoa ja DVC:n käyttöä datan versiointiin.

Mitä Git seuraa hyvin

Git toimii erinomaisesti tekstin kanssa: lähdekoodi, asetukset, notebookit (joista tulosteet on poistettu) ja dokumentaatio sopivat siihen hyvin. Se tallentaa tekstitiedostojen muutokset tehokkaasti.

Suurten binääritiedostojen kanssa se toimii huonosti: jokainen versio tallennetaan kokonaisena, mikä paisuttaa repositoriota pysyvästi.

Miksei dataa ja malleja pidä commitoida

2 Gt:n tietojoukon tai 500 Mt:n mallin commitoiminen:

paisuttaa repositoriota ja hidastaa jokaista kloonausta
ei mahdollista mielekästä muutosvertailua
säilyttää tiedoston historiassa ikuisesti, vaikka se myöhemmin poistettaisiin

Ratkaisu: ohittakaa ne Gitissä ja versioikaa ne tähän tarkoitukseen suunnitellulla työkalulla.

.gitignore-tiedosto

.gitignore sisältää kuviot, joita Gitin ei pidä seurata. Luokaa tiedosto projektin juureen. Jokainen rivi on glob-kuvio.

# .gitignore
*.pkl
*.joblib
*.h5
data/raw/*
data/processed/*
models/*
__pycache__/
*.pyc
.ipynb_checkpoints/
.env

Malli- ja välimuistitiedostojen ohittaminen

Yleisiä tekoälyprojektien ohituskuvioita:

*.pkl, *.joblib, *.h5 — serialisoidut mallit
__pycache__/, *.pyc — Python-tavukoodi
.ipynb_checkpoints/ — Jupyterin automaattiset tallennukset
.env — salaisuudet ja API-avaimet (älkää koskaan commitoiko näitä!)

Tyhjien kansioiden säilyttäminen .gitkeep-tiedostolla

Git ohittaa tyhjät kansiot. Säilyttääksenne data/raw/-kansion repositorion rakenteessa ja ohittaaksenne sen sisällön lisätkää tyhjä .gitkeep-tiedosto sekä poikkeussääntö.

# .gitignore
data/raw/*
!data/raw/.gitkeep

DVC-esittely

DVC (Data Version Control) versioi suuria datoja ja malleja Gitin rinnalla. Git seuraa pieniä .dvc-osoitintiedostoja, kun taas varsinainen data sijaitsee etätallennuksessa (S3:ssa, GCS:ssä tai vastaavassa).

Näin saatte toistettavat dataversiot ilman, että Git-repositorio paisuu.

dvc init

Alustakaa DVC olemassa olevan Git-repositorion sisällä. Se luo .dvc/-kansion ja asetukset, jotka commitoidaan Gitiin.

# in your git repo
dvc init
git add .dvc .gitignore
git commit -m "Initialize DVC"

dvc add — datan seuranta

dvc add aloittaa tiedoston tai kansion seurannan. DVC siirtää datan välimuistiinsa ja luo pienen .dvc-osoitintiedoston. Comm itoikaa osoitin Gitiin, älkää dataa.

dvc add data/raw/dataset.csv
# creates data/raw/dataset.csv.dvc
git add data/raw/dataset.csv.dvc data/raw/.gitignore
git commit -m "Track dataset with DVC"

dvc push ja dvc pull

Määrittäkää etätallennus, minkä jälkeen dvc push lataa datan sinne ja dvc pull lataa nykyistä Git-committia vastaavan version. Näin tiimin jäsenet jakavat datan.

dvc remote add -d storage s3://my-bucket/dvcstore
dvc push          # upload data to the remote

# teammate after git clone + git checkout:
dvc pull          # fetch the matching data version

Tiimin työnkulku

Git + DVC -silmukka yhdistää koodin ja datan versiot:

git pull hakee uusimman koodin ja .dvc-osoittimet
dvc pull hakee niitä vastaavan datan ja mallit
Työskennelkää ja suorittakaa sitten dvc add + git commit + dvc push

Vanhan commitin checkout ja dvc pull-komennon suorittaminen palauttavat täsmälleen kyseisen tilan.

Pikatarkistus: suuret tiedostot

Projektissanne on 1 Gt:n koulutusdatajoukko ja 300 Mt:n mallitiedosto.

Vastaa interaktiivisessa oppitunnissa

Kertaus: Git tekoälyprojekteissa

Opitte tekoälyprojekteihin sopivan versionhallinnan:

Git tekstille (koodi, asetukset ja notebookit), ei suurille binääritiedostoille
.gitignore ohittamaan esimerkiksi *.pkl-, data/raw/*-, __pycache__- ja .env-tiedostot
.gitkeep tyhjien kansioiden säilyttämiseen
DVC: dvc init, dvc add ja dvc push/pull datan ja mallien versiointiin
Git + DVC -työnkulku pitää koodin ja datan synkronoituina

Seuraavaksi: kokeiden tekeminen toistettaviksi.

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 53
Oppitunnit: 225

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Git tekoälyprojekteissa” ilmainen?

Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa Oppikaa tekoälyä Pythonilla-oppimispolun 3 oppituntia, myös oppitunnin “Git tekoälyprojekteissa”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppikaa tekoälyä Pythonilla-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Git tekoälyprojekteissa”?

git init, .gitignore dataa ja malleja varten, notebookien commitoiminen ja DVC datan versiointiin. Harjoittelet Oppikaa tekoälyä Pythonilla-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Oppikaa tekoälyä Pythonilla-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Oppikaa tekoälyä Pythonilla-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.

Kuinka kauan ”Git tekoälyprojekteissa”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Oppikaa tekoälyä Pythonilla-oppitunnilla?

Kyllä. Jokainen Oppikaa tekoälyä Pythonilla-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

Ammattimaisen tekoälyprojektin hakemistorakenne
Git tekoälyprojekteissa
Toistettavuus: siemenluvut, asetukset ja ympäristöt
Jupyter Notebookien parhaat käytännöt

← Takaisin: Oppikaa tekoälyä Pythonilla