La risorsa InferenceService
Dichiari una distribuzione del modello in un unico manifest.
La risorsa InferenceService è una lezione MLOps Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento MLOps Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso MLOps Academy include 4 lezioni in totale.
Presentiamo KServe
KServe trasforma un modello addestrato in un endpoint di produzione su Kubernetes. È sufficiente descrivere ciò che si desidera: KServe gestisce il serving, lo scaling e il routing. KServe è il vostro livello di serving. 🚀
Una sola risorsa per gestirle tutte
Invece di scrivere manualmente Deployment e Service grezzi, si crea una singola risorsa personalizzata. InferenceService è l’unico oggetto che definisce l’intera configurazione di serving.
È solo YAML
Si dichiara un InferenceService in un piccolo manifest YAML, quindi lo si applica con kubectl. KServe legge quel manifest e crea tutti gli elementi sottostanti.
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
name: sklearn-irisIl blocco Predictor
Il cuore della specifica è il predictor, che indica come caricare ed eseguire il modello. Indica a KServe il modello e il runtime che deve esporlo.
spec:
predictor:
model:
modelFormat:
name: sklearn
storageUri: gs://kfserving-examples/models/sklearn/1.0/modelDove risiede il modello
storageUri indica a KServe da dove recuperare il modello, ad esempio da un bucket GCS o S3. All’avvio, KServe lo scarica nel container di serving.
Il formato del modello sceglie il runtime
Il campo modelFormat, ad esempio sklearn o pytorch, consente a KServe di scegliere automaticamente un runtime di serving compatibile. Per i framework comuni non serve scrivere codice server personalizzato.
Applicarlo come qualsiasi risorsa
Si invia il manifest al cluster con un normale comando kubectl. KServe rileva il nuovo oggetto e inizia a riconciliarlo in un servizio in esecuzione. kubectl apply avvia il processo.
kubectl apply -f sklearn-iris.yamlAttendere che diventi pronto
Dopo l’applicazione, controllare lo stato finché il servizio non segnala READY. La colonna READY passa a True quando il modello è stato caricato e accetta traffico.
kubectl get inferenceservice sklearn-irisSi ottiene un URL
Un InferenceService pronto espone un URL stabile per le predizioni. I client inviano lì le richieste e KServe le instrada al modello in background.
Inviare una predizione
Inviare l’input come JSON con una richiesta POST al percorso predict di quell’URL. KServe lo inoltra al modello e restituisce la prediction nel corpo della risposta.
curl -X POST $URL/v1/models/sklearn-iris:predict \
-d '{"instances": [[5.1, 3.5, 1.4, 0.2]]}'Anche Transformer ed Explainer
Oltre al predictor, la specifica può aggiungere un transformer per il pre e post-processing e un explainer per ottenere informazioni interpretative. Sono entrambi facoltativi e vengono concatenati automaticamente.
Verifica rapida
Si vuole usare KServe per esporre un modello. Quale singolo oggetto occorre dichiarare?
Riepilogo
Avete imparato che InferenceService è la singola risorsa dichiarativa di KServe. Impostate un predictor con storageUri e formato, applicatelo e ottenete un URL pronto per le predizioni. Ottimo lavoro! 🎉
Impara Python con un tutor IA — gratis
Scrivi ed esegui vero codice nel tuo browser, ricevi aiuto istantaneo da un tutor IA disponibile 24/7, e riprendi da dove hai lasciato sul web o nell'app.
- Corsi
- 30
- Lezioni
- 120
Domande Frequenti
La lezione «La risorsa InferenceService» è gratuita?
Sì — il testo completo di «La risorsa InferenceService» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso MLOps Academy, passa a CoddyKit PRO. Il corso MLOps Academy include 4 lezioni in totale.
Cosa imparerò in «La risorsa InferenceService»?
Dichiari una distribuzione del modello in un unico manifest. Eserciti MLOps Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare MLOps Academy?
Non è richiesta alcuna esperienza precedente. MLOps Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.
Quanto tempo richiede la lezione «La risorsa InferenceService»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione MLOps Academy?
Sì. Ogni lezione MLOps Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- La risorsa InferenceService
- Scalare a zero e riattivare il servizio
- Scrivere un predictor personalizzato
- KServe e Seldon Core a confronto