Anpassa storleken på instanser och repliker
Anpassa hårdvaran efter verkliga belastningsprofiler.
Anpassa storleken på instanser och repliker är en gratis lektion i MLOps Academy på CoddyKit. Detta är lektion 1 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för MLOps Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i MLOps Academy innehåller totalt 4 lektioner.
Betala för det Ni använder
De flesta kostnader för ML-serving kommer från instanser som står halvt outnyttjade. Right-sizing innebär att anpassa maskinvara och antal repliker efter den faktiska belastningen, inte efter värsta tänkbara scenario.
Mät innan Ni minskar
Ni kan inte dimensionera rätt utan att först mäta. Börja med att observera den verkliga CPU- och minnesutnyttjandegraden under en normal dag med trafik.
Fällan med överdimensionering
Att välja en enorm instans för säkerhets skull kan kännas tryggt, men kostar pengar varje timme. Kroniskt låg utnyttjandegrad är det tydligaste tecknet på överdimensionering.
Läs av Er utnyttjandegrad
Om den genomsnittliga CPU-användningen ligger nära 15 procent är instansen alldeles för stor. Sikta på en hälsosam målnivå för utnyttjandegrad med marginal för korta toppar.
kubectl top pods -n servingVertikal kontra horisontell
Vertikal skalning ger en replik en kraftigare maskin. Horisontell skalning lägger i stället till fler mindre repliker, vilket vanligtvis hanterar trafiktoppar bättre.
Ange requests och limits
I Kubernetes talar Er resursbegäran om för schemaläggaren hur mycket varje replik faktiskt behöver. Ange den utifrån observerad användning, inte en grov uppskattning.
resources:
requests:
cpu: "500m"
memory: "1Gi"Välj rätt antal repliker
För få repliker innebär köade begäranden och långsamma svar. För många innebär overksamma pods som Ni ändå betalar för. Dimensionera replikerna efter Er maximala samtidiga belastning.
Låt autoskalning följa efterfrågan
En Horizontal Pod Autoscaler lägger till repliker när belastningen ökar och tar bort dem när den minskar, så att Ni slutar betala för kapacitet utanför högsäsong.
kubectl autoscale deploy model --min 2 --max 10 --cpu-percent 60Behåll ett säkerhetsgolv
Ett minsta antal repliker håller några pods varma, så att trafiken aldrig når en kall och tom tjänst. Detta är Er avvägning mellan kostnad och tillgänglighet.
GPU-maskiner är dyra
GPU-instanser kostar många gånger mer än CPU. Begär bara en GPU när modellen verkligen behöver den, och packa arbetet tätt så att den aldrig står overksam.
Right-sizing är ett fortlöpande arbete
Trafikmönster förändras över veckor och månader. Se regelbundet över instanstyp och antal repliker, så att Er flotta fortsätter att passa bra.
Snabbkontroll
Låt oss se vad låg utnyttjandegrad säger Er.
Sammanfattning
Ni mätte utnyttjandegrad, valde mellan vertikal och horisontell skalning, angav requests och lade till autoskalning. Er flotta matchar nu den verkliga efterfrågan. 💸
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”Anpassa storleken på instanser och repliker” gratis?
Ja – hela texten till ”Anpassa storleken på instanser och repliker” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i MLOps Academy, kan Ni uppgradera till CoddyKit PRO. Kursen i MLOps Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”Anpassa storleken på instanser och repliker”?
Anpassa hårdvaran efter verkliga belastningsprofiler. Ni övar på MLOps Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig MLOps Academy?
Du behöver inga förkunskaper. Utbildningen i MLOps Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 1 av 4.
Hur lång tid tar lektionen ”Anpassa storleken på instanser och repliker”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här MLOps Academy-lektionen?
Ja. Varje MLOps Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Anpassa storleken på instanser och repliker
- Kvantisera och destillera för billigare inferens
- Använd Spot Instances för träning
- Följ kostnaden per prediktion