Создание нового Jupyter Server

Создание Jupyter Server на основе базового образа или образа DataHub

Для создания нового Jupyter Server выполните следующие действия.

  1. Перейдите на вкладку Стандартное окружение в главном меню сервиса Environments.

  2. На панели Стандартное окружение нажмите Создать Jupyter Server. Откроется окно, в котором необходимо заполнить параметры сервера.

  3. В поле Название введите название нового сервера. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите Тип задачи. Доступны:

    • Обучение моделей на GPU. Обучение нейросетей на фреймворках PyTorch, TensorFlow на GPU.

    • Управление распределенными задачами. Запуск и мониторинг распределенных GPU-задач. Бесплатные Jupyter Server создаются в этом разделе.

    • Обучение моделей на CPU. Подготовка данных, обучение моделей на классическом data-science стеке.

    • Препроцессинг и Big Data. Обработка больших данных на кластерах Spark с помощью CPU. Создание Jupyter Server с доступом к кластеру Spark.

  5. Выберите Регион размещения ресурсов и задайте параметры нового сервера (подробности в разделе Регионы размещения ресурсов).

    Подсказка

    При выборе региона доступны три цвета, которые показывают загруженность региона:

    • «зеленый» (регион свободен);

    • «желтый» (возможно запустить распределенное обучение или рекомендуем выбрать другой регион);

    • «красный» (регион перегружен, рекомендуем выбрать другой регион).

  6. Выберите Ресурсы для задачи.

    В регионе Cloud.Region.CPU (CPU) бесплатных Jupyter Server нет.

    Важно

    При работе с архивами, содержащими большое количество маленьких файлов (размером менее 1МБ и более 10000 штук файлов) время распаковки на конфигурации Free будет значительно выше, чем при использовании конфигурации с выделенными GPU и hardware CPU.

    При использовани конфигурации Free можно воспользоваться советами.

    Запуск обучения на GPU производится посредством отправки задач в регион. При этом пользователь платит за фактическое время исполнения задачи: от старта до окончания обучения. При обучении из Jupyter Server на выделенных GPU взимается оплата с момента создания Jupyter Server до удаления, даже если он не используется. Запуск обучения возможен локально на выделенных GPU. Максимальное количество выделенных GPU — 16. См. Задачи обучения.

    Подсказка

    Можно настроить автоматическое отключение Jupyter Server, если он не нагружен в течение определенного периода. Для этого обратитесь в техническую поддержку.

  7. Выберите Образ

  8. Нажмите Создать Jupyter Server и дождитесь инициализации Jupyter Server. По окончании инициализации статус Jupyter Server изменится с «Не подключен» на «Подключен». При приостановке Jupyter Server переходит в статус «На паузе».

    Важно

    Запуск Jupyter Server, находящегося в очереди, может произойти в том числе и ночью. При этом тарификация будет осуществляться с момента запуска.

  9. Подключитесь к Jupyter Server, выбрав Jupyter или JupyterLab. Логи Jupyter Server можно просмотреть, выбрав соответствующий пункт из меню Кнопка с тремя вертикальными точками.

Важно

Возможно приостановить Jupyter Server. Приостановка Jupyter Server доступна только на наиболее свежих образах (версии 0.0.80).

При приостановке Jupyter Server будут завершены все пользовательские процессы в окружении. Ресурсы будут высвобождены. При возобновлении будет запущен идентичный Jupyter Server с тем же образом, набором библиотек и типом инстанса.

Создание Jupyter Server с доступом к кластеру Spark

Для создания Jupyter Server с доступом к кластеру Spark:

  1. Перейдите на вкладку Стандартное окружение в главном меню сервиса Environments.

  2. На панели Стандартное окружение нажмите кнопку Создать Jupyter Server.

  3. В поле Название Jupyter Server введите имя нового сервера. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите тип задачи Препроцессинг и Big Data. Обработка больших данных на кластерах Spark с помощью CPU.

  5. В открывшемся диалоговом окне задайте необходимые параметры. Описание параметров приведено в таблице ниже.

    Этап конфигурирования

    Параметр

    Описание

    Название Jupyter Server

    Название Jupyter Server

    В поле Название введите имя нового подключения. Имя нового подключения следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

    Тип Jupyter Server

    Тип Jupyter Server

    Для создания Jupyter Server с доступом к кластеру Spark требуется указать параметр Spark (CPU).

    Ресурсы

    Ресурсы Driver

    Аппаратные ресурсы, аллоцированные для размещения Spark Driver. Выберите необходимую конфигурацию из списка доступных конфигураций.

    Ресурсы Executor

    Аппаратные ресурсы, аллоцированные для размещения воркеров Spark, на которых запускаются процессы Spark Executor. Выберите необходимую конфигурацию, которая будет соответствовать одному экземпляру Executor.

    Количество Executor

    Количество воркеров Spark, которые будут созданы в рамках кластера. В данный момент автомасштабирование кластера не поддерживается. Ресурсы будут выделены статично на все время существования кластера.

    Версия Spark

    Версия Spark на создаваемом кластере.

    Образ Spark

    Образ для создания кластера Spark.

  6. Для создания кластера Spark с выбранными параметрами нажмите Создать Jupyter Server.

  7. Кластер Spark будет создан через 1–2 минуты. После завершения создания кластера станет возможным подключение (возможность использовать интерфейс Jupyter Notebook или JupyterLab). Подключитесь к Jupyter Server, нажав соответствующую кнопку.

  8. В открывшемся окне Jupyter Server нажмите кнопку New. Выберите из выпадающего меню тип ноутбука Spark –> Python (Kubernetes Mode) AI Cloud. Созданный ноутбук будет подключен к кластеру Spark.

Создание нового Jupyter Server на основе пользовательского образа

Важно

  • Не гарантируется стабильная работа приостановки Jupyter Server при использовании кастомных образов.

  • Кастомный образ собирается на основе любого базового образа, используемого на платформе. Подробнее см. Образы, используемые на платформе ML Space.

Пользователи ML Space могут создавать Jupyter Server на базе собственных образов, загруженных в Docker registry. См. Кастомные Docker-образы. Для создания такого Jupyter Server выполните следующие действия:

  1. Перейдите на вкладку Стандартное окружение в главном меню модуля Environments.

  2. На панели Jupyter Server нажмите Создать Jupyter Server. Откроется диалоговое окно с параметрами нового сервера.

  3. В поле Название Jupyter Server введите имя нового сервера.

  4. Установите тип Jupyter Server Default.

  5. Задайте параметры нового сервера. В качестве Docker-образа выберите кастомный образ из Docker registry. Обратите внимание на то, что в наименовании репозитория должен быть префикс «jupyter-».

  6. Нажмите Создать и дождитесь инициализации сервера.

В результате будет запущен Jupyter Server, развернутый на базе пользовательских образов, загруженных в Docker registry.

Подключение к существующему Jupyter Server

Для подключения к Jupyter Server из списка на странице серверов нажмите кнопку подключения в соответствующей строке. Возможны два варианта подключения: работа через интерфейс Jupyter Notebook и в JupyterLab.

Удаление Jupyter Server

Для удаления Jupyter Server:

  1. Выберите сервер, который необходимо удалить, отметив его чекбоксом.

  2. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  3. В появившемся диалоговом окне подтвердите действие нажатием на Подтвердить.

Автоматическое удаление Jupyter Server

Сервисом предусмотрено автоматическое удаление неиспользуемых Jupyter Server без GPU в целях оптимизации вычислительных ресурсов. Если с момента завершения последней задачи обучения на сервере прошло более 7 дней, такой сервер считается неиспользуемым и автоматически удаляется. Дата удаления сервера отображается в соответствующей строке таблицы Jupyter Server.

Если сервер активно используется для запуска задач, вместо предполагаемой даты удаления в строке стоит прочерк. Прочерк также будет стоять в строке напротив Jupyter Server с GPU, поскольку такие серверы не удаляются автоматически. Если до момента удаления сервера осталось менее двух дней, такой сервер отображается в таблице серым цветом. Запуск любой задачи обучения автоматически продлевает срок до удаления всех Jupyter Server еще на 7 дней от даты окончания выполнения задачи.

Важно

Обратите внимание на то, что после удаления сервера все данные пользователя остаются на NFS и будут видны из любого Jupyter Server. Настройки удаленного сервера сохраняются в /home/jovyan/.local.

Удаленная отладка по SSH с использованием PyCharm и Visual Studio Code

Для удаленной отладки по SSH используйте руководства для: