Создание деплоя

Для создания деплоя:

  1. Перейдите на вкладку Деплои в главном меню. На этой вкладке отображается список развернутых на сервисе моделей.

  2. Нажмите кнопку Создать деплой. Откроется диалоговое окно с параметрами нового деплоя.

  3. В поле Наименование укажите наименование нового деплоя. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите тип деплоя.

    • Стандартный. Запуск деплоя с одним контейнером на основе kfserving или собственного веб-сервера.

    • Раздельный. Запуск раздельного деплоя оптимизированного инференса.

  5. Выберите Регион размещения ресурсов и задайте параметры нового деплоя (подробности в разделе Регионы размещения ресурсов).

  6. Выберите Тип конфигурации и укажите Количество pods.

    • (Опционально для раздельного деплоя) Укажите распределение ресурсов. Устанавливайте трансформеру как можно меньше ресурсов. Это позволит больше ресурсов оставить для модели.

  7. Выберите тип образа. Доступны Базовые образы ML Space и Образы Docker registry. Подробнее об использовании образов из Docker registry см. Подготовка репозитория.

    Образы, созданные в Образы, находятся во вкладке Базовые образы ML Space и названы inference-image-xxxxxxxxxx.

  8. Выберите Docker-образ.

  9. Нажмите Создать деплой.

Предупреждение

Особенностью работы автоскейлинга при изменении количества подов в меньшую сторону является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.

В случае успешной или неуспешной сборки образа на панели Деплои отобразится соответствующий статус: «Выполняется», «В очереди», «Ошибка».

Важно

Ниже приведены основные причины ошибок в сборке (статус «Ошибка»):

  • Неверно указан базовый образ или его нет в Docker-реестре ML Space.

  • Неверно указаны параметры доступа к S3.

  • Параметры доступа к S3 указаны верно, но не удалось скачать каталог с артефактами или скрипт.

Логи сборки можно просмотреть, выбрав соответствующий пункт из меню Кнопка с тремя вертикальными точками. Логи можно копировать в текстовом формате для последующего сохранения в файл.