Anmod om CPU, hukommelse og GPU
Angiv ressourcegrænser, så pods planlægges korrekt.
Anmod om CPU, hukommelse og GPU er en gratis MLOps Academy-lektion på CoddyKit. Dette er lektion 2 af 4. Du kan læse hele lektionen gratis nedenfor — og derefter øve dig praktisk i browseren med en indbygget kodeeditor og en AI-vejleder, der er tilgængelig døgnet rundt. Den er en del af læringsforløbet i MLOps Academy, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. MLOps Academy-kurset indeholder 4 lektioner i alt.
Planlæggeren har brug for tal
Kubernetes placerer Pods på noder, hvor der er plads. For at kunne beslutte dette skal planlæggeren vide, hvor meget CPU og hukommelse hver model-Pod vil bruge.
Anmodninger kontra grænser
En anmodning er den mængde, der garanteres og bruges til planlægning. En grænse er det loft, som en container ikke må overskride. Du angiver næsten altid begge dele.
CPU måles i millicores
CPU tælles i millicores: 1000m svarer til én hel kerne. Hvis du anmoder om 500m, får din model-Pod lovet en halv CPU-kerne.
resources:
requests:
cpu: "500m"
memory: "512Mi"
limits:
cpu: "1"
memory: "1Gi"Hukommelse bruger Mi og Gi
Hukommelse angives i mebibytes eller gibibytes, f.eks. 512Mi eller 2Gi. Dimensionér den efter din model og dens runtime, og læg lidt ekstra plads oveni.
For lav værdi holder Pod'en sig afventende
Hvis ingen noder kan opfylde dine anmodninger, forbliver Pod'en i tilstanden Pending. Store GPU-modeller venter ofte, fordi der ganske enkelt ikke er nok ledig plads noget sted.
OOMKilled når du overskrider hukommelsen
Overskrid din hukommelsesgrænse, så afslutter kernen containeren med status OOMKilled. Korrekt dimensionering af grænserne forhindrer, at din modelserver fjernes midt i en forespørgsel. 💥
CPU-grænser drosler ned, men afslutter ikke
I modsætning til hukommelse afslutter overskridelse af en CPU-grænse ikke Pod'en. Containeren drosles blot ned, så svartiden stiger i stedet for, at processen afsluttes.
GPU'er anmodes om som grænser
GPU'er er en udvidet ressource. Du anmoder kun om dem under grænser med nvidia.com/gpu, og værdien skal være et helt tal, aldrig en brøk.
resources:
limits:
nvidia.com/gpu: 1En GPU deles ikke efter tid
Én GPU-anmodning reserverer som standard hele enheden til den pågældende Pod. To Pods kan ikke uden videre dele et kort uden særlig MIG- eller tidsdelingsopsætning.
Enhedsplugin'et gør GPU'er synlige
Noder annoncerer først GPU'er, når NVIDIA's enhedsplugin kører på dem. Intet plugin betyder ingen nvidia.com/gpu-ressource, og din GPU-Pod forbliver i tilstanden Pending.
Korrekt dimensionering sparer penge
For store anmodninger spilder hele noder, mens for små anmodninger risikerer udsættelser. Ved at overvåge det faktiske forbrug og tilpasse anmodningerne holder du både serveringen stabil og billig.
Hurtigt tjek
Hvad sker der, når en container overskrider sin hukommelsesgrænse?
Opsummering
Angiv anmodninger og grænser for CPU og hukommelse, anmod om hele GPU'er under grænserne, og dimensionér ud fra det faktiske forbrug for at holde model-Pods sunde. ✅
Lær Python med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 30
- Lektioner
- 120
Ofte stillede spørgsmål
Er lektionen “Anmod om CPU, hukommelse og GPU” gratis?
Ja — hele teksten til “Anmod om CPU, hukommelse og GPU” kan læses gratis her på nettet. Hvis du vil øve dig interaktivt med en indbygget kodeeditor og en AI-vejleder døgnet rundt og få adgang til resten af MLOps Academy-kurset, skal du opgradere til CoddyKit PRO. MLOps Academy-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Anmod om CPU, hukommelse og GPU”?
Angiv ressourcegrænser, så pods planlægges korrekt. Du øver dig i MLOps Academy med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på MLOps Academy?
Der kræves ingen tidligere erfaring. MLOps Academy på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 2 af 4.
Hvor lang tid tager lektionen “Anmod om CPU, hukommelse og GPU”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne MLOps Academy-lektion?
Ja. Alle MLOps Academy-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- Pods, deployments og services til modeller
- Anmod om CPU, hukommelse og GPU
- Konfigurér med ConfigMaps og Secrets
- Kør træning som et Kubernetes Job