Работа из терминала Jupyter Notebook/JupyterLab
В Jupyter Notebook и среде разработки JupyterLab есть возможность работать из терминала, или командной строки (Terminal).
Командная строка является стандартной Linux консолью с интерпретатором bash.
В ней можно исполнять привычные Linux-команды, такие как ls
, wget
, git
, pip list
, pip install --user
и др.
Из командной строки также можно выполнять некоторые специфические операции, например: перемещение данных из S3 в NFS и обратно и подключение по SSH к исполняемой на кластере задаче.
Подключение к исполняемой на кластере задаче по протоколу SSH изложено в разделе Подключение по SSH к исполняемой на кластере задаче обучения.
Рассмотрим процесс перемещения данных из S3 в NFS и обратно из командной строки.
Важно
Перемещение данных средствами библиотеки client_lib — лишь один из способов переноса данных между S3 и NFS. Подробнее см. в Управление данными.
Для запуска командной строки выполните следующие действия:
Подключитесь к Jupyter Server. См. Подключение к существующему Jupyter Server.
Подключитесь к Jupyter Notebook в рамках Jupyter Server. Для этого нажмите Подключиться. По завершении откроется интерфейс Jupyter Notebook. См. Быстрый старт по работе с Environments.
В интерфейсе Jupyter запустите командную строку.
Из командной строки запустите
aicloud --help
В результате этого действия отобразится перечень поддерживаемых команд.
Команда s3-save-credentials
передает параметры доступа к бакету S3, а команда s3-copy
вызывает задачу копирования данных с S3 на NFS и обратно.
Эти команды используются для перемещения данных между S3 и NFS.
Примечание
Есть и другие способы перемещения данных из объектного хранилища S3 в NFS. Подробная информация изложена в разделе Работа с данными.
Для перемещения данных из S3 в NFS из командной строки выполните следующие действия:
Передача параметров доступа к бакету S3
aicloud s3-save-credentials 'YOUR_S3_NAMESPACE' 'YOUR_ACCESS_KEY_ID' 'YOUR_SECURITY_KEY'
Результат выполнения команды отобразится в командной строке
S3 Credentials "{'result': None, 'status': 'ok'}" created
Копирование и физическое перемещение данных
aicloud s3-copy 's3://your_bucket_name/mnist.npz' '/home/jovyan/'
У этой команды два обязательных параметра:
SRC
— каталог, откуда копируем файлы.DST
— каталог, в который копируем файлы.
Опциональный параметр
-r
(--recursive
) обязателен для копирования папок.