MLOps Academy · Урок

Ресурс InferenceService

Объявляйте развёртывание модели в одном манифесте

Урок 1 из 413 шагов

«Ресурс InferenceService» — бесплатный урок MLOps Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.

Знакомство с KServe

KServe превращает обученную модель в конечную точку для промышленной эксплуатации в Kubernetes. Вы описываете желаемый результат, а KServe сам выполняет публикацию, масштабирование и маршрутизацию. KServe — это ваш слой публикации моделей. 🚀

Один ресурс для всего

Вместо того чтобы вручную создавать обычные Deployments и Services, создайте один пользовательский ресурс. InferenceService — единственный объект, описывающий всю конфигурацию публикации модели.

Это всего лишь YAML

Объявите InferenceService в небольшом манифесте YAML, а затем примените его с помощью kubectl. KServe прочитает этот манифест и создаст все необходимые компоненты.

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: sklearn-iris

Блок предсказателя

Основа спецификации — predictor, который определяет, как загружать и запускать модель. Он указывает KServe модель и среду выполнения, которая должна её обслуживать.

spec:
  predictor:
    model:
      modelFormat:
        name: sklearn
      storageUri: gs://kfserving-examples/models/sklearn/1.0/model

Где находится ваша модель

Параметр storageUri сообщает KServe, откуда загрузить модель, например из корзины GCS или S3. При запуске KServe загружает её в контейнер публикации.

Формат модели выбирает среду выполнения

Поле modelFormat, например sklearn или pytorch, позволяет KServe автоматически выбрать подходящую среду публикации. Для распространённых платформ не нужен собственный код сервера.

Применение как для любого ресурса

Отправьте манифест в кластер обычной командой kubectl. KServe обнаружит новый объект и начнёт приводить его к состоянию работающего сервиса. Команда kubectl apply запускает этот процесс.

kubectl apply -f sklearn-iris.yaml

Дождитесь готовности

После применения проверяйте состояние, пока сервис не сообщит READY. Столбец READY изменится на True, когда модель будет загружена и начнёт принимать запросы.

kubectl get inferenceservice sklearn-iris

Вы получаете URL

Готовый InferenceService предоставляет стабильный URL для предсказаний. Клиенты отправляют запросы туда, а KServe незаметно для них перенаправляет их к модели.

Отправка предсказания

Отправьте входные данные в формате JSON методом POST на путь predict этого URL. KServe передаст их модели и вернёт предсказание в теле ответа.

curl -X POST $URL/v1/models/sklearn-iris:predict \
  -d '{"instances": [[5.1, 3.5, 1.4, 0.2]]}'

Также доступны преобразователь и объяснитель

Помимо predictor, спецификация может содержать transformer для предварительной и последующей обработки, а также объяснитель для получения сведений о результате. Каждый компонент необязателен, а цепочка создаётся автоматически.

Быстрая проверка

Вы хотите опубликовать модель с помощью KServe. Какой единственный объект нужно объявить?

Ответь в интерактивном уроке

Итоги

Вы узнали, что InferenceService — единственный декларативный ресурс KServe. Задайте predictor с указанием storageUri и формата, примените его и получите готовый URL для предсказаний. Отличная работа! 🎉

Можно начать бесплатно

Изучай Python с ИИ-репетитором — бесплатно

Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.

Курсы: 30
Уроки: 120

Начать учиться бесплатно Посмотреть полный курс

Часто задаваемые вопросы

Урок «Ресурс InferenceService» бесплатный?

Да — полный текст урока «Ресурс InferenceService» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.

Чему я научусь в уроке «Ресурс InferenceService»?

Объявляйте развёртывание модели в одном манифесте Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать MLOps Academy?

Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.

Сколько времени занимает урок «Ресурс InferenceService»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке MLOps Academy?

Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к MLOps Academy