Развертывание модели

Для развертывания образа с моделью на сервисе выберите необходимый образ из списка. В результате этого действия откроется следующий диалог:

../_images/s__model-deployment.png

С его помощью можно задать минимальное и максимальное количество pods для масштабирования экземпляров микросервиса и количество GPU, которые будут использоваться сервисом.

Внимание

Если не задавать количество pods (по умолчанию 0), не будет возможности просматривать логи деплоя.

Чтобы разместить выбранный образ, нажмите кнопку Создать деплой. В результате этих действий образ будет развернут на указанной конфигурации и создана карточка деплоя. В карточке указаны:

  • Используемый образ.

  • Хост, на который необходимо будет отправлять запросы. См. подробнее в Отправка HTTP-запросов к сервису.

  • Сведения об используемых ресурсах, количестве активных запущенных pods и возможный диапазон доступных модели pods.

В процессе развертывания образа на сервисе есть возможность динамически менять конфигурацию деплоя. Для этого:

  1. Зайдите в карточку деплоя по клику.

  2. Задайте необходимое количество GPU и pods.

  3. Нажмите Сохранить изменения.

Обратите внимание на то, что после изменения конфигурации деплоя происходит его пересборка (статус «Deploying»).

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу записи нажмите кнопку Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные в таблице правил переноса.

Важно

Ниже приведены основные причины ошибок в развертывании модели:

  • Ошибки в serving-скрипте. Рекомендуем протестировать serving-скрипт локально на сервисе с помощью терминала. См. Валидация.

  • Недостаточно свободных ресурсов на сервисе.

  • Модель разворачивается на базовом образе, в котором нет необходимых библиотек. Сборка Docker-образа с моделью на основе кастомного образа описана в разделе Быстрый старт по работе с Deployments.