Environments

См.также

Начните работу с помощью пошаговых инструкций

Environments — модуль для обучения моделей и препроцессинга данных на базе привычных DS-инструментов при помощи ресурсов суперкомпьютеров Christofari.V100 и Christofari.A100, Spark-серверов или компьютеров с графическими ускорителями Tesla A100.

В рамках модуля можно:

  • Запустить обучение на ресурсах Christofari.V100, Christofari.A100, Cloud.Region.A100 (GPU Tesla A100) используя Jupyter Server/JupyterLab (со всеми возможностями, включая Jupyter Notebook и терминалы).

  • Просмотреть данные в быстром локальном хранилище регионов Christofari.V100 и Christofari.A100 через интерфейс Jupyter Server/JupyterLab.

  • Создать окружения — Jupyter Server на базе одного из образов для последующего запуска программного кода на выделенном регионе размещения вычислительных ресурсов.

Используя интерфейс хранилища, функцию client_lib, которая входит в состав сервиса, или Data transfer service, можно переместить файлы с S3 в NFS ML Space («горячее хранилище»). К NFS-дискам имеет доступ как Jupyter Server, так и воркеры-исполнители задач на регионах Christofari.V100, Christofari.A100. Файлы, которые находятся на NFS-дисках региона, будут доступны Jupyter Server.

Взаимодействие с регионами происходит с помощью Jupyter Server/JupyterLab, а также интерфейсов API или терминала. С их помощью задача обучения модели отправляется в регион. Отслеживать статус задачи можно как из вкладки Задачи и окружения, так и с помощью функции client_lib.

В модуле есть все необходимые утилиты для мониторинга:

  • Загрузки оборудования (Grafana®)

  • Моделей (TensorBoard®)

  • Эксперимент-менеджмента (MLflow®).

Это позволяет отслеживать загрузку ресурсов в разрезах CPU, GPU, RAM в любой момент времени.

Запустили Evolution free tier
для Dev & Test
Получить