Загрузка и хранение данных

Основной ресурс для хранения большого объема данных — объектное хранилище S3. Оно обеспечивает безопасный и оперативный доступ к пользовательским данным, которые хранятся в виде объектов в бакетах.

Для каждого созданного workspace автоматически создается бакет, доступный всем пользователям workspace (тип доступа — public). Пользователь может создать личный бакет (тип доступа — private) для хранения данных, к которым он хочет ограничить доступ. Этот бакет будет отображаться в каждом workspace (cм. Workspace).

Взаимодействие с объектами в бакете (загрузка, скачивание, просмотр и др.) реализовано посредством Файлового менеджера. Он имитирует иерархическую структуру каталогов, упрощая визуальный поиск необходимых данных.

Загрузка данных в хранилище S3

Для загрузки данных в объектное хранилище S3 можно использовать:

  • Интерфейс Файлового менеджера (вкладка Обзор хранилища, кнопка Загрузить).

  • Сторонние клиентские приложения с графическим интерфейсом (Cyberduck для загрузки в бакеты с типом доступа private, S3 Browser для загрузки в бакеты с типами доступа private и public).

  • Data transfer service (см. Миграция данных).

Важно

Рекомендуемый объем загружаемых файлов на S3 через интерфейс (кнопка Загрузить) — не более 500МБ, количество объектов не должно превышать 1000.

Для загрузки данных через Файловый менеджер:

  1. Перейдите на вкладку Обзор хранилища.

  2. Выберите бакет для загрузки объекта двойным кликом или создайте новый пользовательский бакет.

  3. Нажмите кнопку Загрузить. Выберите Загрузить папку или Загрузить файл.

  4. В диалоговом окне выберите объект (папку, один или несколько файлов) для загрузки и нажмите кнопку Загрузить.

Для загрузки данных через Drag-and-drop:

  1. Перейдите на вкладку Обзор хранилища.

  2. Выберите расположение, куда требуется загрузить файлы (например, <bucket-name>/<d_and_d_folder>/d_and_d.json).

  3. Перетащите требуемые для загрузки файлы в требуемую папку (например, <bucket-name>/<d_and_d_folder>).

После загрузки папка или файл будут отображаться в интерфейсе Файлового менеджера.

Важно

Загрузка файлов с расширением .app и папок целиком временно недоступна.

Создание пользовательского бакета

Для создания нового пользовательского бакета необходимо:

  1. Нажать кнопку Создать бакет.

    • Название бакета будет создано автоматически.

    • Тип доступа к бакету по умолчанию — private.

  2. Нажать кнопку Сохранить.

Пользователь ML Space может создать только один бакет и с типом доступа private по умолчанию. Данный бакет будет доступен как личное хранилище в каждом workspace, вне зависимости от выбранного workspace. После создания бакет появится на вкладке Обзор хранилища.

Credentials S3 и копирование пути к объекту на S3

Параметры доступа к бакету (credentials) и возможность их копирования доступны по клику на кнопку Кнопка с тремя вертикальными точками. Обратите внимание на то, что эти параметры используются для подключения к бакету с целью использования объектов, которые в нем находятся, другими сервисами платформы ML Space: AutoML и Deployments. Чтобы скопировать путь до объекта на S3, нажмите Кнопка копирования пути до объекта в навигационной цепочке над таблицей или справа от строки URL в Свойствах файла. Чтобы скачать credentials в формате .txt нажмите на кнопку S3cmd config.