Stufen: Ingest, Prep, Train, Eval
Teilen Sie das Training in klare, cachebare Schritte auf.
Stufen: Ingest, Prep, Train, Eval ist eine kostenlose MLOps Academy-Lektion auf CoddyKit. Dies ist Lektion 1 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des MLOps Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Vom großen Skript zu Stufen
Ein einzelnes train.py, das alles erledigt, lässt sich nur schwer wiederverwenden und langsam debuggen. Wenn Sie es in Stufen aufteilen, wird jeder Schritt klar und unabhängig ausführbar. 🧩
Die vier klassischen Stufen
Die meisten Trainingspipelines folgen demselben Muster: ingest, prep, train, eval. Jede Stufe nimmt Eingaben entgegen und erzeugt Ausgaben, die von der nächsten Stufe gelesen werden.
Stufe 1: Ingest
Die Stufe ingest ruft Rohdaten aus ihrer Quelle ab, etwa einer Datenbank oder einem Bucket, und schreibt sie in einen bekannten lokalen Pfad. Es wird noch nichts bereinigt.
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")Stufe 2: Prep
Die Stufe prep bereinigt und transformiert Rohdaten in für das Modell geeignete Features. Sie behandelt fehlende Werte und Kodierung und teilt die Daten in Trainings- und Testsets auf.
Stufe 3: Train
Die Stufe train liest die vorbereiteten Features ein und passt das Modell an. Anschließend speichert sie das angepasste Artefakt auf der Festplatte, damit die nächste Stufe es bewerten kann.
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")Stufe 4: Eval
Die Stufe eval lädt das gespeicherte Modell, bewertet es mit dem zurückgehaltenen Testset und schreibt Metriken wie die Genauigkeit in eine Datei, die Sie nachverfolgen können.
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))Stufen übergeben Dateien, keine Variablen
Stufen kommunizieren über Dateien auf der Festplatte miteinander, nicht über Variablen im Arbeitsspeicher. Diese Entkopplung ermöglicht es Ihnen, eine Stufe ohne die anderen erneut auszuführen.
Warum Stufen zwischengespeichert werden können
Da jede Stufe feste Eingaben und Ausgaben hat, kann ein Tool ihr Ergebnis cachen. Wenn sich die Eingaben nicht geändert haben, wird die Stufe vollständig übersprungen.
Jede Stufe ist ein eigenes Skript
Geben Sie jeder Stufe ein kleines Skript mit einer klaren Aufgabe. ingest.py, prep.py, train.py und eval.py lesen Eingaben und schreiben Ausgaben – mehr nicht.
Stufen bilden einen DAG
Stufen werden zu einem DAG verbunden, einem gerichteten Graphen, in dem jeder Schritt von den vorherigen abhängt. Eval hängt von train ab, train von prep und prep von ingest.
Klare Stufen erleichtern das Debugging
Wenn ein Lauf fehlschlägt, zeigen Ihnen getrennte Stufen genau, wo der Fehler aufgetreten ist. Sie können nur die fehlgeschlagene Stufe erneut ausführen, statt die gesamte Pipeline zu wiederholen.
Kurzer Check
Sehen wir uns an, wie Stufen miteinander kommunizieren.
Rückblick: Ingest, Prep, Train, Eval
Sie haben gelernt, das Training in vier cachebare Stufen aufzuteilen, die Daten über Dateien weitergeben. Klare Stufen bedeuten schnellere erneute Ausführungen und deutlich einfacheres Debugging. 🚀
Häufig gestellte Fragen
Ist die Lektion „Stufen: Ingest, Prep, Train, Eval“ kostenlos?
Ja — der vollständige Text von „Stufen: Ingest, Prep, Train, Eval“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des MLOps Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Stufen: Ingest, Prep, Train, Eval“?
Teilen Sie das Training in klare, cachebare Schritte auf. Du übst MLOps Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um MLOps Academy zu starten?
Keine Vorkenntnisse erforderlich. MLOps Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 1 von 4.
Wie lange dauert die Lektion „Stufen: Ingest, Prep, Train, Eval“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser MLOps Academy-Lektion Code schreiben und ausführen?
Ja. Jede MLOps Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Stufen: Ingest, Prep, Train, Eval
- Eine Pipeline mit DVC-Stufen definieren
- Unveränderte Schritte cachen und überspringen
- Läufe mit params.yaml parametrisieren