Environments

Environments — сервис для обучения моделей и препроцессинга данных с помощью суперкомпьютера Christofari, Spark-кластера или привычных DS-инструментов.

В рамках сервиса пользователь может взаимодействовать с несколькими сущностями:

  • Jupyter Server/JupyterLab (со всеми возможностями, включая Jupyter Notebook и терминалы), которые позволяют запустить обучение на ресурсах Christofari.

  • API сервиса.

  • Просмотр данных в быстром локальном хранилище кластера Christofari через интерфейс Jupyter Server/JupyterLab.

Используя интерфейс хранилища (Data Catalog → кнопка Отправить на NFS), библиотеку client_lib, которая входит в состав сервиса, или Data transfer service, пользователь может переместить файлы с S3 в горячее хранилище NFS ML Space. К NFS-дискам имеет доступ как Jupyter Server, так и воркеры-исполнители задач на кластере Christofari. Это означает, что файлы, которые находятся на NFS-дисках кластера, будут доступны как Jupyter Server, так и кластеру.

Взаимодействие с кластером осуществляется только посредством интерфейсов API, Jupyter Server/JupyterLab или терминала. С их помощью задача обучения модели отправляется на кластер. Отслеживать статус задачи можно как из вкладки Задачи и окружения, так и с помощью соответствующих методов библиотеки client_lib.

На сервисе есть все необходимые утилиты для мониторинга:

  • Загрузки оборудования (Grafana®)

  • Моделей (TensorBoard®)

  • Эксперимент-менеджмента (MLflow®).

Это позволяет отслеживать загрузку ресурсов в разрезах CPU, GPU, RAM в любой момент времени.

Полезные разделы для знакомства с сервисом: