Класс S3CopyJob

Данный класс характеризует задачу перемещения данных с S3 на локальные NFS-диски кластера (также доступные в Jupyter Server), а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials (см. Методы). Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Управление данными.

Параметры конструктора класса

Параметр

Описание

Значение по умолчанию

src

Тип: string

Источник перемещаемых данных/ скриптов.

dst

Тип: string

Путь к назначению перемещаемых данных/ скриптов.

recursive (опц.)

Тип: boolean

Флаг для копирования папок.

False

Примеры копирования файлов:

client_lib.S3CopyJob('/home/jovyan/XGB/notebook.ipynb', 's3://1111111111111111111111-bucket/')

Подсказка

Для указания пути к файлу:

/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py

существует несколько способов:

  • '"/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py"'

  • '\'/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py\''

  • '/home/jovyan/aicloud-examples/quick-start/job\ launch/tensorflow\ mnist_estimator.py'

Примеры копирования папок:

client_lib.S3CopyJob(
  src='s3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/',
  dst='/home/jovyan/',
  recursive=True
)

Важно

Для работы данного функционала требуется Jupyter Server версии не ниже 0.0.29.

Методы

Client_lib.S3СopyJob.submit()

Метод submit() отправляет сформированную задачу перемещения данных с кластера на S3 или обратно.

Параметры метода

Параметр

Описание

Значение по умолчанию

folder_auto_create

Тип: boolean

Параметр копирует папку пользователя из src в dst. Пример использования параметра см. в разделе Управление данными.

False