Действия над Jupyter Server

Создание нового Jupyter Server на основе базового образа или образа DataHub

Для создания нового Jupyter Server выполните следующие действия.

  1. Перейдите на вкладку Создать окружение → Стандартное окружение в главном меню сервиса Environments.

  2. На панели Стандартное окружение нажмите кнопку Создать Jupyter Server. Откроется диалоговое окно с параметрами нового сервера.

    ../_images/s__jupyter__create-new.ru.png
  3. В поле Название Jupyter Server введите имя нового сервера. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите Тип Jupyter Server. Обратите внимание на то, что выбор Spark CPU создаст Jupyter Server с доступом к кластеру Spark. Подробности конфигурации см. в разделе Кластер Spark.

  5. Выберите Регион размещения ресурсов и задайте параметры нового сервера (подробности в разделе Регионы размещения ресурсов).

    • Тип: Free (без выделенных GPU и 0,5 vCPU) или конфигурации с выделенными GPU и hardware CPU.

      Jupyter Server без GPU не тарифицируется в регионах Christofari.V100 и Christofari.A100.

      В регионе SR.01 бесплатных Jupyter Server нет.

      Важно

      При работе с архивами, содержащими большое количество маленьких файлов (размером менее 1МБ и более 10000 штук файлов) время распаковки на конфигурации Free будет значительно выше, чем при использовании конфигурации с выделенными GPU и hardware CPU.

      При использовани конфигурации Free можно воспользоваться советами.

      Запуск обучения на GPU производится посредством отправки задач на кластер. При этом пользователь платит за фактическое время исполнения задачи: от старта до окончания обучения. При обучении из Jupyter Server на выделенных GPU взимается оплата с момента создания Jupyter Server до удаления, даже если он не используется. Запуск обучения возможен локально на выделенных GPU. Максимальное количество выделенных GPU — 16. См. Задачи обучения. Обратите внимание на то, что в одном workspace можно создать не более 3-х бесплатных Jupyter Server.

    • Docker image: образ, в рамках которого запустится Jupyter Server. См. Библиотеки в образах Jupyter Server. При выборе бесплатного Jupyter Server без GPU образ установлен по умолчанию. Обратите внимание на возможность создавать Jupyter Server на базе собственных образов, загруженных в Docker registry. См. Создание нового Jupyter Server на основе пользовательского образа. Эта возможность доступна для серверов с выделенными GPU (тип Free) и без выделенных GPU.

  6. Нажмите кнопку Создать и дождитесь инициализации сервера. По окончании инициализации статус Jupyter Server изменится с «Не подключен» на «Подключен». При приостановке Jupyter Server переходит в статус «На паузе».

  7. Подключитесь к Jupyter Server, выбрав Jupyter или JupyterLab. Логи сервера можно просмотреть, выбрав соответствующий пункт из меню Кнопка с тремя вертикальными точками.

Важно

Возможно приостановить Jupyter Server. Приостановка Jupyter Server доступна только на наиболее свежих образах (версии 0.0.80).

При приостановке Jupyter Server будут завершены все пользовательские процессы в окружении. Ресурсы будут высвобождены. При возобновлении будет запущен идентичный Jupyter Server с тем же образом, набором библиотек и типом инстанса.

Обратите внимание на возможность использования среды разработки JupyterLab в рамках сервиса.

Создание нового Jupyter Server на основе пользовательского образа

Важно

  • Не гарантируется стабильная работа приостановки Jupyter server при использовании кастомных образов.

  • Кастомный образ собирается на основе любого базового образа, используемого на платформе. Подробнее см. Образы, используемые на платформе ML Space.

Пользователи ML Space могут создавать Jupyter Server на базе собственных образов, загруженных в Docker registry. См. Кастомные Docker-образы. Для создания такого Jupyter Server выполните следующие действия:

  1. Перейдите на вкладку Создать окружение → Стандартное окружение в главном меню модуля Environments.

  2. На панели Jupyter Server нажмите кнопку Создать Jupyter Server. Откроется диалоговое окно с параметрами нового сервера.

  3. В поле Название Jupyter Server введите имя нового сервера.

  4. Установите тип Jupyter Server Default.

  5. Задайте параметры нового сервера. В качестве Docker-образа выберите кастомный образ из Docker registry. Обратите внимание на то, что в наименовании репозитория должен быть префикс «jupyter-».

  6. Нажмите кнопку Создать и дождитесь инициализации сервера.

В результате будет запущен Jupyter Server, развернутый на базе пользовательских образов, загруженных в Docker registry.

Подключение к существующему Jupyter Server

Для подключения к Jupyter Server из списка на странице серверов нажмите кнопку подключения в соответствующей строке. Возможны два варианта подключения: работа через интерфейс Jupyter Notebook и в JupyterLab.

Использование хранилища S3 из Jupyter Server

Для работы с S3 из Jupyter Server можно использовать плагин aws-data-wrangler.

Плагин позволяет считывать и записывать файлы на s3. Поддерживает s3 select.

С документацией для плагина можно ознакомиться по ссылке.

Ознакомиться с плагином можно на сайте Amazon, примеры на GitHub по использованию S3 Select и Writing Partitions Concurrently.

Удаление Jupyter Server

Для удаления Jupyter Server:

  1. Выберите сервер, который необходимо удалить, отметив его чекбоксом.

  2. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  3. В появившемся диалоговом окне подтвердите действие нажатием на кнопку Подтвердить.

Автоматическое удаление Jupyter Server

Сервисом предусмотрено автоматическое удаление неиспользуемых Jupyter Server без GPU в целях оптимизации вычислительных ресурсов. Если с момента завершения последней задачи обучения на сервере прошло более 7 дней, такой сервер считается неиспользуемым и автоматически удаляется. Дата удаления сервера отображается в соответствующей строке таблицы Jupyter Server.

Если сервер активно используется для запуска задач на кластере, вместо предполагаемой даты удаления в строке стоит прочерк. Прочерк также будет стоять в строке напротив Jupyter Server с GPU, поскольку такие серверы не удаляются автоматически. Если до момента удаления сервера осталось менее двух дней, такой сервер отображается в таблице серым цветом. Запуск любой задачи обучения автоматически продлевает срок до удаления всех Jupyter Server еще на 7 дней от даты окончания выполнения задачи.

Важно

Обратите внимание на то, что после удаления сервера все данные пользователя остаются на NFS и будут видны из любого Jupyter Server. Настройки удаленного сервера сохраняются в /home/jovyan/.local.