Deployments

Deployments — сервис для развертывания (деплоя) моделей машинного и глубокого обучения на высокопроизводительных серверах с целью последующего обращения к этим моделям для предсказаний по новым данным. Для обработки каждой задачи выделяются ресурсы в рамках возможностей платформы ML Space и квоты, выделенной для учетной записи пользователя. Ниже представлены схемы взаимодействия с сервисом.

Real time

../_images/schm__deployments__real-time.svg
  1. У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.

  2. Пользователь загружает модель и serving-скрипт на S3.

  3. Посредством UI/API/Jupyter Notebook (библиотека client_lib) пользователь вызывает сборку образа и разворачивает его на сервисе.

  4. Автоматизированная система пользователя отправляет HTTP-запросы к модели через REST API и получает прогноз/классификацию и т.д.

Batch

../_images/schm__deployments__batch.svg
  1. У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.

  2. Пользователь загружает модель и serving-скрипт на S3.

  3. Посредством UI/API/Jupyter Notebook (библиотека client_lib) пользователь вызывает сборку образа и разворачивает его на сервисе.

  4. Автоматизированная система пользователя отправляет на S3 данные (изображения, звуковые файлы и т.д.).

  5. Автоматизированная система пользователя / задача по расписанию инициирует обработку всего, что находится в директории на бакете S3. Прогноз либо сохраняется на S3, либо повторно передается к АС пользователя.

  6. Отправка предсказания.