Job
Методы этого раздела позволяют работать с задачами обучения в регионах через библиотеку client_lib.
Параметры конструктора класса
Важно
Параметр warm_cache — отключен (deprecated).
Он может быть корректно обработан только в значении warm_cache=False.
При значении warm_cache=True возникнет ошибка с кодом 400.
Параметр |
Описание параметра |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Тип —
Путь до запускаемого скрипта.
Обратите внимание, что точка монтирования — это корневой каталог, поэтому его не должно быть в начале пути.
Если ваш скрипт лежит по пути Примечание Скрипт должен быть расположен на NFS региона, в котором будет запускаться задача обучения. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип —
Базовый образ, в котором будет исполняться скрипт обучения модели. Образ должен быть из cr.msk.sbercloud.ru/aicloud-base-images или из проекта Docker registry для текущего workspace. Подробнее про базовые образы. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Количество рабочих узлов региона, на котором будет исполняться скрипт. Параметр игнорируется задачами обучения на CPU и определяется для:
Если в регионе Cloud.Region.A100 (GPU Tesla A100) указать «n_workers» больше единицы, то будет ошибка с кодом «400». Примечание Для региона Cloud.Region.CPU (CPU) параметр не определяется. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Максимальные значения для регионов размещения вычислительных ресурсов:
Для региона Cloud.Region.CPU (CPU) параметр не определяется. Подробнее см. в разделе Обучение моделей на большом количестве GPU. Для задач обучения на CPU параметр должен быть равен нулю. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию:
Количество CPU на одном рабочем узле региона размещения вычислительных ресурсов. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию:
Лимит на оперативную память. Если выбрать неподходящее меньшее, то возникнет ошибка «OOMKilled». Предупреждение
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Конфигурации вычислительных ресурсов: Конфигурации для обучения моделей в регионе Christofari.V100 (dgx2-mt)
Конфигурации для обучения моделей в регионе Christofari.A100 (a100-mt)
Конфигурации для обучения моделей в регионе Cloud.Region.CPU (CPU) (cce-mt)
Конфигурации для запуска деплоев в регионе Cloud.Region.CPU (CPU) (cce-inf)
Конфигурации для запуска деплоев в регионе Christofari.V100 (dgx2-inf-001)
Пример instance_type
instance_type="a100.1gpu" #При работе через client_lib
"instance_type": "a100.1gpu" #При работе через API
Конфигурация вычислительных ресурсов, используемых для решения задач. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию — Параметр отключен. Значение менять не требуется. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Тип распределенных вычислений. На данный момент возможны:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Флаги, с которыми необходимо запустить скрипт (если таковые имеются в скрипте обучения модели). Пример кода "flags": {
"batch_size": 512,
"model": "mymodel50",
"xla": False
}";
Скрипт будет запущен с параметрами Важно Значения возможно передавать с пробелами, обращая внимание на кавычки.
Пример — |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр устанавливает минимальное количество воркеров для задач Pytorch Elastic Learning. Возможно передать значения больше 0 или строку default. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр устанавливает максимальное количество воркеров для задач Pytorch Elastic Learning. Возможно передать значения больше 0 или строку default. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр устанавливает максимальное количество перезапусков задач Pytorch Elastic Learning. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр задает время в минутах до принудительного удаления задачи, которая перешла в статус «Выполняется» (подробнее о статусах задач см. в разделе Задачи и окружения). |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип —
Значение по умолчанию — Параметр задает переменные окружения. Важно Значения возможно передавать с пробелами, обращая внимание на кавычки.
Пример — |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр задает количество процессов на один рабочий узел региона, если не подходит количество процессов равное количеству GPU. Можно запустить задачу на 16 GPU одного рабочего узла региона, указать Пример кода client_lib.Job(base_image='cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0',
script='tensorflow_mnist_estimator.py', n_workers=1,
n_gpus=16, warm_cache=False, process_per_worker=1)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр позволяет указывать название окружения conda, если в образе имеется таковое и используется нестандартное окружение python, а окружение anaconda. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр позволяет задавать пользовательские описания для запускаемых задач. Пример кода client_lib.Job(base_image='your base image',
script='your script',
job_desc="your_job_description"
n_workers=1,
n_gpus=1,
warm_cache=False,
process_per_worker=1)
client_lib.Job(script: 'your script',
base_image: 'your base image',
n_workers: 1,
n_gpus: 0,
type: cce,
region: CCE-MT,
instance_type: m3.large.8.linux)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Важно Параметр устаревший.
Передача этого параметра не будет влиять на поведение задачи обучения.
Оставляйте в значении
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Параметр позволяет выбирать регион размещения вычислительных ресурсов. Доступны значения:
Примечание В регионе Cloud.Region.A100 (GPU Tesla A100) можно запускать только нераспределенные задачи обучения. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Тип — Значение по умолчанию —
Позволяет проверить исправность GPU перед запуском задачи обучения.
Доступны значения |
Методы
client_lib.Job.submit()
Метод submit() отправляет сформированную задачу на вычисление в регион, после чего задача ставится в очередь на выполнение.
client_lib.Job.status()
Метод status() возвращает статус только по одной задаче обучения.
client_lib.Job.kill()
Метод kill() удаляет задачу (вне зависимости от того, находится ли она в очереди, или уже исполняется в регионе).
В результате выполнения метода задача будет удалена.
client_lib.Job.logs(tail, verbose)
Метод logs(tail, verbose) возвращает логи по задаче, отправленной в регион на исполнение.
Параметры:
Параметр |
Описание параметра |
|---|---|
|
Тип — Значение по умолчанию —
Параметр определяет количество выводимых строк из лога, начиная с конца. |
|
Тип — Значение по умолчанию —
Параметр определяет уровень детализации логов для пользователя.
|
client_lib.logs(job_name, tail, verbose)
Метод возвращает логи по названию задачи.
Параметр |
Описание параметра |
|---|---|
|
Тип —
Название задачи. |
|
Тип — Значение по умолчанию —
Параметр определяет количество выводимых строк из лога, начиная с конца. |
|
Тип — Значение по умолчанию —
Параметр определяет уровень детализации логов для пользователя.
|