Загрузка и хранение данных
Основной ресурс для хранения большого объема данных — объектное хранилище S3. Оно обеспечивает безопасный и оперативный доступ к пользовательским данным, которые хранятся в виде объектов в бакетах.
Для каждого созданного workspace автоматически создается бакет, доступный всем пользователям workspace (тип доступа — public). Пользователь может создать личный бакет (тип доступа — private) для хранения данных, к которым он хочет ограничить доступ. Этот бакет будет отображаться в каждом workspace (cм. Workspace).
Взаимодействие с объектами в бакете (загрузка, скачивание, просмотр и др.) реализовано посредством Файлового менеджера. Он имитирует иерархическую структуру каталогов, упрощая визуальный поиск необходимых данных.
Для удобства отображения реализована возможность переименовать бакет.
Чтобы переименовать бакет перейдите в меню и выберите Переименовать.
После переименования, имя бакета будет изменено в модулях платформы Data transfer service. Для взаимодействия с внешними S3 нужно использовать credentials. Подробнее про credentials см. Credentials S3 и копирование пути к объекту на S3.
В этом разделе
Загрузка данных в хранилище S3
Для загрузки данных в объектное хранилище S3 можно использовать:
Интерфейс Файлового менеджера (вкладка Обзор хранилища, кнопка Загрузить).
Сторонние клиентские приложения с графическим интерфейсом (Cyberduck и S3 Browser для загрузки в бакеты с типами доступа private и public).
При использовании Cyberduck для перехода в бакет, нужно указать его имя. Подробнее как узнать имя бакета см. Credentials S3 и копирование пути к объекту на S3.
Data transfer service (см. Data transfer service).
Важно
Рекомендуемый объем загружаемых файлов на S3 через интерфейс (кнопка Загрузить) — не более 500МБ, количество объектов не должно превышать 1000.
Для загрузки данных через Файловый менеджер:
Перейдите на вкладку Обзор хранилища.
Выберите бакет для загрузки объекта двойным кликом или создайте новый пользовательский бакет.
Нажмите кнопку Загрузить. Выберите Загрузить папку или Загрузить файл.
В диалоговом окне выберите объект (папку, один или несколько файлов) для загрузки и нажмите кнопку Загрузить.
Для загрузки данных через Drag-and-drop:
Перейдите на вкладку Обзор хранилища.
Выберите расположение, куда требуется загрузить файлы (например,
<bucket-name>/<d_and_d_folder>/d_and_d.json
).Перетащите требуемые для загрузки файлы в требуемую папку (например,
<bucket-name>/<d_and_d_folder>
).
После загрузки папка или файл будут отображаться в интерфейсе Файлового менеджера.
Важно
Через Drag-and-drop временно недоступна загрузка файлов с расширением .app
и папок целиком.
Создание пользовательского бакета
Для создания нового пользовательского бакета необходимо:
Нажать кнопку Создать бакет.
Название бакета будет создано автоматически.
Тип доступа к бакету по умолчанию — private.
Нажать кнопку Сохранить.
Пользователь ML Space может создать только один бакет и с типом доступа private по умолчанию. Данный бакет будет доступен как личное хранилище в каждом workspace, вне зависимости от выбранного workspace. После создания бакет появится на вкладке Обзор хранилища.
Credentials S3 и копирование пути к объекту на S3
Параметры доступа к бакету (credentials) и возможность их копирования доступны по клику на кнопку .
Обратите внимание на то, что эти параметры используются для подключения к бакету с целью использования объектов, которые в нем находятся, другими сервисами платформы ML Space: AutoML и Deployments.
Чтобы скопировать путь до объекта на S3, нажмите
в навигационной цепочке над таблицей или справа от строки URL в Свойствах файла.
Чтобы скачать credentials в формате
.txt
нажмите на кнопку S3cmd config.
Подключение стороннего бакета (бакета миграции)
Важно
В настоящее время для подключения доступны бакеты SberCloud Advanced.
При работе с бакетом миграции есть следующие ограничения:
Возможно подключить только один бакет миграции.
Нельзя отключить уже подключенный бакет.
Нельзя загружать новые файлы и удалять уже имеющиеся через интерфейс платформы. Для загрузки и удаления файлов используйте консольные утилиты. Подробнее см. в документации объектного хранилища S3 от SberCloud.
Для подключения стороннего бакета нужно:
Откройте S3 credentials бакета, который требуется подключить.
Заполните требуемые поля в меню Подключить бакет.
Нажмите Подключить.
Подробнее про параметры бакета миграции см. быстрый старт для Object Storage Service.