S3CopyJob

Этот класс характеризует задачу перемещения данных с S3 на локальные NFS-диски регионов (также доступные в Jupyter Server), а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials. Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Управление данными.

Класс S3CopyJob предназначен для копирования файлов на Christofari. Для копирования файлов на Christofari.A100 и регионе Cloud.Region.CPU (CPU) воспользуйтесь Метод copy_to_nfs.

Параметры конструктора класса

Параметр

Описание параметра

src (обяз.)

Тип — string

…

Источник перемещаемых данных/скриптов.

dst (обяз.)

Тип — string

…

Путь к назначению перемещаемых данных/скриптов.

recursive (опц.)

Тип — boolean

Значение по умолчанию — False

…

Флаг для копирования папок.

Примеры копирования файлов:

client_lib.S3CopyJob('/home/jovyan/XGB/notebook.ipynb', 's3://1111111111111111111111-bucket/')

Подсказка

Для указания пути к файлу:

/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py

существует несколько способов:

  • '"/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py"'

  • '\'/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py\''

  • '/home/jovyan/aicloud-examples/quick-start/job\ launch/tensorflow\ mnist_estimator.py'

Примеры копирования папок:

client_lib.S3CopyJob(
  src='s3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/',
  dst='/home/jovyan/',
  recursive=True
)

Метод submit() отправляет сформированную задачу перемещения данных из региона на S3 или обратно.

Параметры метода:

Параметр

Описание

folder_auto_create (опц.)

Тип — boolean

Значение по умолчанию — False

…

Параметр копирует папку пользователя из src в dst. Пример использования параметра см. в разделе Управление данными.