Be om CPU, minne og GPU
Sett ressursgrenser slik at pods planlegges riktig.
Be om CPU, minne og GPU er en gratis leksjon i MLOps Academy på CoddyKit. Dette er leksjon 2 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i MLOps Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Scheduler-en trenger tall
Kubernetes plasserer Pod-er på noder som har ledig kapasitet. For å avgjøre dette trenger scheduler at du angir hvor mye CPU og minne hver modell-Pod skal bruke.
Requests kontra limits
En request er mengden som garanteres og brukes ved planlegging. En limit er den øvre grensen en container ikke kan overskride. Du angir nesten alltid begge.
CPU måles i millicores
CPU telles i millicores: 1000m tilsvarer én hel kjerne. Når du ber om 500m, loves modell-Pod-en din en halv CPU-kjerne.
resources:
requests:
cpu: "500m"
memory: "512Mi"
limits:
cpu: "1"
memory: "1Gi"Minne bruker Mi og Gi
Minne angis i mebibyte eller gibibyte, for eksempel 512Mi eller 2Gi. Dimensjoner det etter modellen og kjøretidsmiljøet, med litt ekstra margin.
For lav verdi gjør at Pod-en blir stående i Pending
Hvis ingen node kan oppfylle requests-verdiene dine, blir Pod-en stående i Pending for alltid. Store GPU-modeller venter ofte ganske enkelt fordi ingen ledig node er stor nok.
OOMKilled når du overskrider minnet
Overskrid limit-verdien for minne, så avslutter kjernen containeren med statusen OOMKilled. Riktig dimensjonerte grenser hindrer at modellserveren blir avsluttet midt i en forespørsel. 💥
CPU-limits struper, men avslutter ikke
I motsetning til minne avslutter ikke overskridelse av en CPU-limit Pod-en. Containeren blir bare strupet, slik at ventetiden øker i stedet for at prosessen avsluttes.
GPU-er angis som limits
GPU-er er en utvidet ressurs. Du ber bare om dem under limits med nvidia.com/gpu, og verdien må være et helt tall, aldri en brøk.
resources:
limits:
nvidia.com/gpu: 1En GPU deles ikke tidsmessig
Én GPU-forespørsel reserverer som standard hele enheten for Pod-en. To Pod-er kan ikke uten videre dele et kort uten et spesielt oppsett med MIG eller tidsdeling.
Enhetspluginen gjør GPU-er synlige
Noder annonserer først GPU-er etter at NVIDIA-device plugin kjører på dem. Ingen plugin, ingen nvidia.com/gpu-ressurs, og GPU-Pod-en blir stående i Pending.
Riktig dimensjonering sparer penger
For store forespørsler sløser bort hele noder, mens for små forespørsler øker risikoen for eviktering. Ved å følge med på faktisk bruk og justere requests holder du serving både stabil og rimelig.
Hurtigsjekk
Hva skjer når en container overskrider minnegrensen sin?
Oppsummering
Angi requests og limits for CPU og minne, be om hele GPU-er under limits, og dimensjoner etter faktisk bruk for å holde modell-Pod-ene friske. ✅
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Be om CPU, minne og GPU» gratis?
Ja – hele teksten i «Be om CPU, minne og GPU» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av MLOps Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Be om CPU, minne og GPU»?
Sett ressursgrenser slik at pods planlegges riktig. Du øver på MLOps Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med MLOps Academy?
Ingen tidligere erfaring er nødvendig. MLOps Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 2 av 4.
Hvor lang tid tar leksjonen «Be om CPU, minne og GPU»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne MLOps Academy-leksjonen?
Ja. Alle MLOps Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Pods, Deployments og Services for modeller
- Be om CPU, minne og GPU
- Konfigurer med ConfigMaps og Secrets
- Kjør trening som en Kubernetes-jobb