Работа из терминала Juputer Notebook/ JupyterLab

В Jupyter Notebook и среде разработки JupyterLab есть возможность работать из терминала, или командной строки (Terminal). Командная строка является стандартной Linux консолью с интерпретатором bash. В ней можно исполнять привычные Linux-команды, такие как ls, wget, git, pip list, pip install --user и др. Из командной строки также можно выполнять некоторые специфические операции, например: перемещение данных из S3 в NFS и обратно и подключение по SSH к исполняемой на кластере задаче. Подключение к исполняемой на кластере задаче по протоколу SSH изложено в разделе Подключение по SSH к исполняемой на кластере задаче. Рассмотрим процесс перемещения данных из S3 в NFS и обратно из командной строки.

Важно

Перемещение данных средствами библиотеки client_lib — лишь один из способов переноса данных между S3 и NFS. Подробнее см. в Управление данными.

Для запуска командной строки выполните следующие действия:

  1. Подключитесь к Jupyter Server. См. Подключение к существующему Jupyter Server.

  2. Подключитесь к Jupyter Notebook в рамках Jupyter Server. Для этого нажмите Подключиться. По завершении откроется интерфейс Jupyter Notebook. См. Быстрый старт по работе с Environments.

    Для работы в JupyterLab подключитесь к JupyterLab из меню.

  3. В интерфейсе Jupyter запустите командную строку.

Из командной строки запустите

aicloud --help

В результате этого действия отобразится перечень поддерживаемых команд. Команда s3-save-credentials передает параметры доступа к бакету S3, а команда s3-copy вызывает задачу копирования данных с S3 на NFS и обратно. Эти команды используются для перемещения данных между S3 и NFS.

Примечание

Есть и другие способы перемещения данных из объектного хранилища S3 в NFS. Подробная информация изложена в разделе Работа с данными.

Для перемещения данных из S3 в NFS из командной строки выполните следующие действия:

  • Передача параметров доступа к бакету S3

    aicloud s3-save-credentials 'YOUR_S3_NAMESPACE' 'YOUR_ACCESS_KEY_ID' 'YOUR_SECURITY_KEY'

    Результат выполнения команды отобразится в командной строке

    S3 Credentials "{'result': None, 'status': 'ok'}" created

  • Копирование и физическое перемещение данных

    aicloud s3-copy 's3://your_bucket_name/mnist.npz' '/home/jovyan/'

    У этой команды два обязательных параметра:

    • SRC — директория, откуда копируем файлы.

    • DST — директория, в которую копируем файлы.

    Опциональный параметр -r (--recursive) обязателен для копирования папок.