Быстрый старт по работе с Environments

Для понимания основных принципов работы сервиса можно воспользоваться тестовым примером. Он рассматривает запуск задачи обучения модели на кластере Christofari.

До запуска примера необходимо выполнить следующую последовательность действий:

  1. Создать Jupyter Server.

  2. Подключиться к Jupyter Server для запуска Jupyter Notebook.

Для создания Jupyter Server:

  1. Перейдите на вкладку Окружения → Jupyter Server в главном меню.

  2. Нажмите кнопку Создать Jupyter Server на панели Jupyter Server и дождитесь инициализации сервера. Подробно этот процесс описан в разделе Создание нового Jupyter Server.

Для подключения к Jupyter Server нажмите Подключиться. По завершении откроется интерфейс Jupyter Notebook.

../_images/s__jupyter-notebook.jpg

В открывшемся интерфейсе Jupyter Notebook зайдите в папку quick-start → job_launch и откройте файл quick-start.ipynb. Рабочая директория Jupyter Notebook, из которой будут запускаться файлы, — /home/jovyan/.

Важно

Директория quick-start появится только после создания нового Jupyter Server и подключения к Jupyter Notebook в рамках сервера.

Структуру Jupyter Notebook образуют ячейки (cells). Ячейки бывают двух типов:

  • Ячейка кода — содержит код, который должен быть исполнен в ядре (kernel).

  • Ячейка Markdown — содержит текст, отформатированный с использованием разметки Markdown.

Результаты выполнения для ячеек обоих типов отображаются ниже.

Для запуска ячейки любого типа воспользуйтесь комбинацией клавиш Shift + Enter или кнопкой Run.

../_images/s__jupyter-notebook__run.jpg

Для успешного запуска задачи обучения на кластере необходимо исполнить ячейки в разделах Подключение библиотеки для работы с кластером и сервисом, Размещаем на локальные диски модель и данные, Сборка образа с нужными библиотеками и Запуск задачи обучения. Перейдите к нужной ячейке и нажмите Shift + Enter для запуска.

В разделе Подключение библиотеки для работы с кластером и сервисом после выполнения блока кода в ячейке пользователю станут доступны ресурсы библиотеки client_lib. В разделе Размещаем на локальные диски модель и данные с бакета S3 загружаются необходимые данные:

  • mnist.npz — набор данных с изображениями рукописных цифр.

  • mnist_estimator.py — скрипт обучения сверточной нейронной сети для распознавания цифр, в котором уже предусмотрено распараллеливание задачи на кластере с помощью библиотеки horovod.

  • requirements.txt — пример файла с перечнем библиотек, которые необходимо добавить в образ-исполнитель скрипта на кластере.

См.также

Подробнее про работу с S3 см. в разделе Загрузка файлов.

Сборка кастомного образа с нужными библиотеками рассмотрена в соответствующем разделе файла quick-start.ipynb. В разделе Запуск задачи обучения скрипт mnist_estimator.py отправляется на кластер. Подробная информация об организации процесса обучения приведена в разделе Обучение модели. В разделе Сохранение результатов обучения модели описаны действия пользователя по сохранению результатов обучения модели в объектном хранилище S3. Этот раздел является опциональным и необязательным для исполнения.

После запуска задачи обучения на кластере она появится на вкладке Задачи в главном меню.