Spot-Instanzen für das Training nutzen
Führen Sie unterbrechbare Jobs zu einem Bruchteil der Kosten aus.
Spot-Instanzen für das Training nutzen ist eine kostenlose MLOps Academy-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des MLOps Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Günstige Rechenleistung, ein Haken
Cloud-Anbieter vermieten freie Kapazitäten mit einem hohen Rabatt. Diese Spot-Instanzen können bis zu 90 Prozent weniger kosten als On-Demand-Maschinen.
Sie können jederzeit verschwinden
Der Haken: Der Anbieter kann eine Spot-Instanz mit wenig Vorwarnung zurückfordern. Diese Unterbrechung erklärt, warum Spot so günstig ist und warum Sie darauf vorbereitet sein müssen.
Training toleriert Unterbrechungen
Training eignet sich hervorragend für Spot, da es im Hintergrund und nicht vor den Benutzerinnen und Benutzern läuft. Ein pausierter Job schadet deutlich weniger als eine abgebrochene Live-Anfrage.
Früh und regelmäßig Checkpoints erstellen
Die wichtigste Gewohnheit besteht darin, den Fortschritt zu speichern, bevor eine Unterbrechung eintritt. Checkpointing schreibt Modellgewichte und den Zustand des Optimierers während des Trainings in einen dauerhaften Speicher.
torch.save({"epoch": epoch, "model": model.state_dict()}, "ckpt.pt")Dort fortsetzen, wo Sie aufgehört haben
Wenn eine neue Spot-Instanz startet, laden Sie den letzten Checkpoint und setzen Sie die Arbeit fort. Durch das Fortsetzen wird aus einer zurückgeforderten Maschine nur eine kurze Pause statt verlorener Arbeit.
ckpt = torch.load("ckpt.pt")
model.load_state_dict(ckpt["model"])Checkpoints außerhalb der Maschine speichern
Speichern Sie Checkpoints in einem dauerhaften Speicher wie S3, niemals auf der lokalen Festplatte. Wenn die Instanz ausfällt, muss Ihr Fortschritt außerhalb der Instanz erhalten bleiben.
Die Beendigungswarnung beachten
Die meisten Clouds senden eine kurze Warnung, bevor sie eine Maschine zurückfordern. Fangen Sie diese Beendigungswarnung ab und speichern Sie einen letzten Checkpoint, solange dies noch möglich ist.
Auf mehrere Instanztypen verteilen
Wenn ein Maschinentyp nicht mehr verfügbar ist, kommt Ihr Job zum Stillstand. Wenn Sie mehrere Typen und Zonen anfordern, steigen Ihre Chancen, günstige Kapazität zu erhalten.
Das Serving auf stabiler Rechenleistung halten
Spot eignet sich für Training, aber nicht immer für latenzarmes Serving, auf das Benutzerinnen und Benutzer angewiesen sind. Halten Sie Inference für zuverlässigen Betrieb auf On-Demand- oder reservierter Kapazität.
Tools die Schwankungen verwalten lassen
Verwaltete Dienste wie SageMaker Managed Spot oder Kubernetes können Jobs für Sie automatisch fortsetzen und so den Großteil der Auswirkungen von Unterbrechungen abfangen.
Einsparungen gegen Verzögerungen abwägen
Spot tauscht geringere Kosten gegen gelegentliche Verzögerungen. Bei einem laufzeitkritischen Run kann sich der sicherere On-Demand-Preis lohnen.
Schnellüberprüfung
Stellen wir sicher, dass das Training mit Spot sicher bleibt.
Zusammenfassung
Sie haben gelernt, warum Spot günstig ist, regelmäßig Checkpoints in einem dauerhaften Speicher erstellt, nach Unterbrechungen fortgesetzt und das Serving auf stabiler Rechenleistung gehalten. 💰
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „Spot-Instanzen für das Training nutzen“ kostenlos?
Ja — der vollständige Text von „Spot-Instanzen für das Training nutzen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des MLOps Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Spot-Instanzen für das Training nutzen“?
Führen Sie unterbrechbare Jobs zu einem Bruchteil der Kosten aus. Du übst MLOps Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um MLOps Academy zu starten?
Keine Vorkenntnisse erforderlich. MLOps Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.
Wie lange dauert die Lektion „Spot-Instanzen für das Training nutzen“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser MLOps Academy-Lektion Code schreiben und ausführen?
Ja. Jede MLOps Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Instanzen und Replikas passend dimensionieren
- Für günstigere Inferenz quantisieren und destillieren
- Spot-Instanzen für das Training nutzen
- Kosten pro Vorhersage erfassen