Быстрый старт по работе с Data Catalog

  1. Откройте вкладку Обзор хранилища Кнопка Обзор хранилища в левом меню и выберите бакет workspace или создайте пользовательский (подробнее в разделе Обзор хранилища (Файловый менеджер)).

  2. Загрузите данные в объектное хранилище S3, используя кнопку Создать или Data transfer service Кнопка сервиса Data transfer service (подробнее в разделе Обзор хранилища (Файловый менеджер)).

  3. Чтобы использовать данные для обучения, переложите их в горячее хранилище NFS, используя кнопку Кнопка Отправить на NFS в объектном хранилище S3, или другие способы переноса (подробнее в разделе Управление данными).

Временные ограничения при загрузке данных

Предупреждение

С 27.11.2022 все существующие бакеты S3 перешли в режим только чтение. Для загрузки новых данных в S3 просим:

  • Создать новый воркспейс. К новым воркспейсам бакет из нового хранилища S3 подключается автоматически. Запись в бакеты S3 новых воркспейсов доступна без ограничений.

  • Использовать для загрузки данных автоматически созданные к новому воркспейсу бакеты.

Загрузить данные в новый бакет можно через интерфейс Обзора хранилища и Data transfer service в новом воркспейсе. Для загрузки больших объемов данных можно также использовать сторонние клиентские приложения с графическим интерфейсом (например, Cyberduck и S3 Browser).

Данные для подключения (Credentials) нового бакета S3 созданного воркспейса можно получить в интерфейсе ML Space.

Созданный бакет можно использовать для загрузки данных в хранилище S3 в различных сценариях.

Сценарий 1

В коде скриптов Jupyter Server/задач обучения/деплоев для работы с S3 используются библиотеки boto3 или аналогичные. В этом случае достаточно заменить параметры подключения к бакету S3 (credentials) в старом воркспейcе на параметры подключения к бакету S3 (credentials) из нового воркспейса.

Сценарий 2

Перенос данных S3 и NFS, а также необходимых Jupyter Server/деплоев в новый воркспейс. В этом случае каких-либо изменений в коде скриптов не потребуется. Выполнить перенос данных из S3/NFS старого воркспейса можно, воспользовавшись Data Transfer Service.

Для переноса данных S3 или NFS старого воркспейса в S3 или NFS нового воркспейса соответственно необходимо создать правило переноса, указав в источнике старый воркспейс/бакет, а в месте назначения — новый воркспейс/бакет.

Сценарий 3

Без переноса данных S3 и NFS, а также необходимые Jupyter Server/деплои в новый воркспейс. Если в коде используется метод S3CopyJob библиотеки client_lib, то необходимо заменить его на методы copy_to_nfs и copy_from_nfs, предварительно создав коннектор к бакету S3 в новом воркспейсе, либо использовать методы библиотеки boto3 или аналогичных.

Если вы используете создание образов для деплоев в модуле Deployments, то в пункте “Хранилище S3” необходимо использовать вариант «Указать вручную» и ввести credentials от бакета S3 нового воркспейса.

При возникновении сложностей при создании или использовании новых бакетов обратитесь в техническую поддержку.