Vaiheet: Ingest, Prep, Train, Eval
Jaa koulutus selkeisiin, välimuistitettaviin vaiheisiin.
Vaiheet: Ingest, Prep, Train, Eval on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Yhdestä suuresta skriptistä vaiheisiin
Kaiken tekevä yksittäinen train.py on vaikea käyttää uudelleen ja hidas selvittää. Sen jakaminen vaiheisiin tekee jokaisesta vaiheesta selkeän ja itsenäisesti suoritettavan. 🧩
Neljä perinteistä vaihetta
Useimmat koulutusputket noudattavat samaa rakennetta: ingest, prep, train, eval. Jokainen vaihe ottaa syötteitä ja tuottaa tulosteita, jotka seuraava vaihe lukee.
Vaihe 1: Ingest
ingest-vaihe noutaa raakadataa lähteestä, kuten tietokannasta tai bucketista, ja kirjoittaa sen tunnettuun paikalliseen polkuun. Mitään ei vielä puhdisteta.
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")Vaihe 2: Prep
prep-vaihe puhdistaa ja muuntaa raakadataa mallille sopiviksi piirteiksi. Se käsittelee puuttuvat arvot ja koodauksen sekä jakaa datan koulutus- ja testijoukkoihin.
Vaihe 3: Train
train-vaihe lukee valmistellut piirteet ja sovittaa mallin, minkä jälkeen se tallentaa sovitetun artefaktin levylle seuraavan vaiheen arviointia varten.
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")Vaihe 4: Eval
eval-vaihe lataa tallennetun mallin, arvioi sen erillään pidetyllä testijoukolla ja kirjoittaa mittarit, kuten tarkkuuden, tiedostoon, jota voitte seurata.
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))Vaiheet välittävät tiedostoja, eivät muuttujia
Vaiheet viestivät keskenään levyllä olevien tiedostojen kautta, eivät muistissa olevien muuttujien avulla. Tämän irtikytkennän ansiosta voitte suorittaa yhden vaiheen uudelleen ilman muita vaiheita.
Miksi vaiheet voidaan välimuistittaa
Koska jokaisella vaiheella on kiinteät syötteet ja tulosteet, työkalu voi välimuistittaa sen tuloksen. Jos syötteet eivät muuttuneet, vaihe ohitetaan kokonaan.
Jokainen vaihe on oma skriptinsä
Antakaa jokaiselle vaiheelle yksi pieni, selkeän tehtävän tekevä skripti. ingest.py, prep.py, train.py ja eval.py lukevat syötteitä ja kirjoittavat tulosteita, eivätkä tee mitään muuta.
Vaiheet muodostavat DAG:n
Vaiheet yhdistyvät DAG:ksi eli suunnatuksi graafiksi, jossa jokainen vaihe riippuu sitä edeltävistä vaiheista. Eval riippuu trainistä, train prepistä ja prep ingestistä.
Selkeät vaiheet helpottavat virheenkorjausta
Kun ajo epäonnistuu, erilliset vaiheet kertovat täsmälleen, missä virhe tapahtui. Voitte suorittaa uudelleen vain epäonnistuneen vaiheen koko putken sijaan.
Pikatarkistus
Tarkistetaan, miten vaiheet viestivät keskenään.
Kertaus: Ingest, Prep, Train, Eval
Opitte jakamaan koulutuksen neljään välimuistittavaan vaiheeseen, jotka välittävät dataa tiedostojen kautta. Selkeät vaiheet nopeuttavat uudelleensuorituksia ja helpottavat huomattavasti virheenkorjausta. 🚀
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Vaiheet: Ingest, Prep, Train, Eval” ilmainen?
Kyllä – oppitunnin ”Vaiheet: Ingest, Prep, Train, Eval” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Vaiheet: Ingest, Prep, Train, Eval”?
Jaa koulutus selkeisiin, välimuistitettaviin vaiheisiin. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Vaiheet: Ingest, Prep, Train, Eval”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Vaiheet: Ingest, Prep, Train, Eval
- Määritä putki DVC-vaiheilla
- Välimuistita vaiheet ja ohita muuttumattomat
- Parametrisoi ajot params.yaml-tiedostolla