Загрузка и хранение данных

Основной ресурс для хранения большого объема данных — объектное хранилище S3. Оно обеспечивает безопасный и оперативный доступ к пользовательским данным, которые хранятся в виде объектов в бакетах.

Для каждого созданного workspace автоматически создается бакет, доступный всем пользователям workspace (тип доступа — public). Пользователь может создать личный бакет (тип доступа — private) для хранения данных, к которым он хочет ограничить доступ. Этот бакет будет отображаться в каждом workspace (cм. Workspace).

Взаимодействие с объектами в бакете (загрузка, скачивание, просмотр и др.) реализовано посредством Файлового менеджера. Он имитирует иерархическую структуру каталогов, упрощая визуальный поиск необходимых данных.

Для удобства отображения реализована возможность переименовать бакет. Чтобы переименовать бакет перейдите в меню Кнопка с тремя вертикальными точками и выберите Переименовать.

После переименования, имя бакета будет изменено в модулях платформы Data transfer service. Для взаимодействия с внешними S3 нужно использовать credentials. Подробнее про credentials см. Credentials S3 и копирование пути к объекту на S3.

Загрузка данных в хранилище S3

Для загрузки данных в объектное хранилище S3 можно использовать:

  • Интерфейс Файлового менеджера (вкладка Обзор хранилища, кнопка Загрузить).

  • Сторонние клиентские приложения с графическим интерфейсом (Cyberduck и S3 Browser для загрузки в бакеты с типами доступа private и public).

    При использовании Cyberduck для перехода в бакет, нужно указать его имя. Подробнее как узнать имя бакета см. Credentials S3 и копирование пути к объекту на S3.

  • Data transfer service (см. Data transfer service).

Важно

Рекомендуемый объем загружаемых файлов на S3 через интерфейс (кнопка Загрузить) — не более 500МБ, количество объектов не должно превышать 1000.

Для загрузки данных через Файловый менеджер:

  1. Перейдите на вкладку Обзор хранилища.

  2. Выберите бакет для загрузки объекта двойным кликом или создайте новый пользовательский бакет.

  3. Нажмите кнопку Загрузить. Выберите Загрузить папку или Загрузить файл.

  4. В диалоговом окне выберите объект (папку, один или несколько файлов) для загрузки и нажмите кнопку Загрузить.

Для загрузки данных через Drag-and-drop:

  1. Перейдите на вкладку Обзор хранилища.

  2. Выберите расположение, куда требуется загрузить файлы (например, <bucket-name>/<d_and_d_folder>/d_and_d.json).

  3. Перетащите требуемые для загрузки файлы в требуемую папку (например, <bucket-name>/<d_and_d_folder>).

После загрузки папка или файл будут отображаться в интерфейсе Файлового менеджера.

Важно

Через Drag-and-drop временно недоступна загрузка файлов с расширением .app и папок целиком.

Создание пользовательского бакета

Для создания нового пользовательского бакета необходимо:

  1. Нажать кнопку Создать бакет.

    • Название бакета будет создано автоматически.

    • Тип доступа к бакету по умолчанию — private.

  2. Нажать кнопку Сохранить.

Пользователь ML Space может создать только один бакет и с типом доступа private по умолчанию. Данный бакет будет доступен как личное хранилище в каждом workspace, вне зависимости от выбранного workspace. После создания бакет появится на вкладке Обзор хранилища.

Credentials S3 и копирование пути к объекту на S3

Параметры доступа к бакету (credentials) и возможность их копирования доступны по клику на кнопку Кнопка с тремя вертикальными точками. Обратите внимание на то, что эти параметры используются для подключения к бакету с целью использования объектов, которые в нем находятся, другими сервисами платформы ML Space: AutoML и Deployments. Чтобы скопировать путь до объекта на S3, нажмите Кнопка копирования пути до объекта в навигационной цепочке над таблицей или справа от строки URL в Свойствах файла. Чтобы скачать credentials в формате .txt нажмите на кнопку S3cmd config.

Подключение стороннего бакета (бакета миграции)

Важно

В настоящее время для подключения доступны бакеты SberCloud Advanced.

При работе с бакетом миграции есть следующие ограничения:

  • Возможно подключить только один бакет миграции.

  • Нельзя отключить уже подключенный бакет.

  • Нельзя загружать новые файлы и удалять уже имеющиеся через интерфейс платформы. Для загрузки и удаления файлов используйте консольные утилиты. Подробнее см. в документации объектного хранилища S3 от SberCloud.

Для подключения стороннего бакета нужно:

  1. Откройте S3 credentials бакета, который требуется подключить.

  2. Заполните требуемые поля в меню Подключить бакет.

  3. Нажмите Подключить.

Подробнее про параметры бакета миграции см. быстрый старт для Object Storage Service.