Образы

Создание образа

Важно

Размер образа не должен превышать 16 ГБ. Если требуется образ размером больше 16 ГБ, создайте кастомный образ и загрузите его в Docker registry с префиксом «deploy-».

Для создания нового образа из существующего:

  1. Перейдите на вкладку Deployments → Образы → Создать новый образ в главном меню. Откроется диалоговое окно с параметрами нового образа.

  2. В открывшемся окне необходимо указать:

    • Тип образа

      • Стандартный. Сборка образа для деплоя с одним контейнером на основе kfserving или собственного веб-сервера.

      • Triton Inference Server. Сборка образов Triton для раздельного деплоя оптимизированного инференса.

    • Тип контейнера (опционально для Triton Inference Server).

      • Трансформер. Содержит логику обработки запросов.

      • Предиктор. Содержит сервер triton и модель машинного обучения.

    • Базовый образ

      Из списка образов

      При создании вручную.

      Базовый образ. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.

      Базовый образ. Путь к образу нужно указать вручную. Перечень образов приведен на странице Образы, используемые на платформе ML Space. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.

      • (Опционально для раздельного деплоя)

        Для создания Трансформера используйте любой базовый образ платформы ML Space. Для создания Предиктора используйте cr.msk.sbercloud.ru/aicloud-base-images/triton22.04-py3:0.0.32.3.

  3. Подключение S3. Осуществляется с помощью указания параметров подключения вручную или выбора нужного бакета, данных для разворачивания образа с моделью из списка доступных. Параметр Обзор хранилища выставлен по умолчанию. Он позволяет выбрать нужный бакет из списка (без указания параметров подключения вручную) и подгрузить модель, serving-скрипт и файл requirements.txt с помощью диалога выбора файлов.

    При выборе типа подключения Указать вручную пользователь вводит параметры подключения самостоятельно. Параметры доступа к S3 — это S3 Endpoint, Access Key ID и Security Key. Подробная информация о том, как узнать параметры подключения, приведена в разделе Загрузка данных в хранилище S3. Вручную указываются и пути к пользовательским файлам на S3 (обученная модель и serving-скрипт). Обратите внимание, что путь до папки с моделью на S3 указывается в формате <bucket_name>/<folder> без префикса s3://. Путь до файла requirements.txt указывается опционально в случае сборки кастомного образа.

    • Конфигурация (опционально для образа Предиктор Triton Inference Server). Нужно указать каталог, в котором находится файл с расширением config.pbtxt.

  4. Нажмите кнопку Создать новый образ и дождитесь сборки образа. В случае успешной сборки образ получает статус «Готов к работе». Созданный образ можно использовать при создании деплоев (подробнее см. Создание деплоя).

В случае успешной или неуспешной сборки образа во вкладке Deployments → Образы отобразится карточка образа.

Карточка образа

В карточке образа доступны вкладки:

  • Информация — здесь приведены краткие сведения о созданном образе.

  • Использование — здесь приведены сведения об использовании собранных образов в деплоях.

  • Логи — здесь приведены логи.

  • Readme — здесь можно создать описание образа. Для создания описания используется синтаксис GitHub Flavored Markdown.