Миграция данных

Миграция пользовательских данных включает:

  • Обмен данными между разными S3 бакетами в рамках одного или разных workspace.

  • Обмен данными между системными хранилищами платформы ML Space — S3 и NFS.

  • Перенос данных из внешних баз данных и файловых систем в Data catalog ML Space.

Миграция данных реализована в рамках сервиса Data transfer service. Она осуществляется в ручном или автоматическом режиме по заданным правилам и с определенной периодичностью. Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех созданных Workspace. Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных Workspace.

Правила переноса данных

Для создания правила переноса перейдите на вкладку Правила переносов и нажмите кнопку Создать правило. Откроется диалог конфигурации правила переноса.

  1. В поле Задайте название укажите название переноса и его описание, которые будут отображаться в таблице правил.

  2. В поле Выберите подключение укажите коннектор для подключения к источнику данных (см. Коннекторы) и задайте путь к источнику (это может быть путь на S3, NFS или SQL-запрос).

  3. В поле Выберите место назначения выберите S3 бакет или NFS, укажите место назначения.

  4. В поле Вариант переноса выберите предпочтительный вариант:

    • Добавлять все к существующим данным.

    • Добавлять только новые записи.

    • Полная синхронизация. Укажите время и периодичность выполнения переноса. Такой вариант переноса доступен только для переносов S3 → NFS, S3 → HDFS, S3 → S3, NFS → NFS.

  5. Нажмите Сохранить.

После сохранения правило появится в таблице переносов. При желании правило можно:

  • Запустить/остановить (если выбрана синхронизация с периодичностью).

  • Отредактировать.

  • Создать новую версию.

  • Просмотреть логи переноса.

  • Удалить.

Чтобы проделать действия над правилами, перейдите в меню Кнопка с тремя вертикальными точками:

  • Выберите команду Редактировать правило для изменения параметров переноса данных.

  • Выберите команду Создать новую версию для повторения правила с минимальными правками.

  • Выберите Логи для просмотра логов переноса. В логе показаны все переносы, совершенные в рамках этого правила. Возможно просмотреть ошибки в правиле, в случае их возникновения.

  • Выберите Удалить, если переносов из указанного источника больше не потребуется.

Кликнув по правилу переноса, можно посмотреть всю историю миграции данных между источником и местом назначения в рамках данного правила.

Важно

Логи становятся доступными после завершения переноса.

Операции над правилами

Пользователь может запустить действие, нажав на кнопку Кнопка возобновления для правил переноса и истории переноса. Для остановки действия нажмите кнопку Кнопка Stop. Действие будет остановлено.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу записи нажмите кнопку Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные в таблице правил переноса.

Записи в разделе можно добавлять в избранное. Для добавления в избранное нажмите Кнопка Избранное напротив требуемой строки.

Пользователь может удалить правило, для этого:

  1. Выберите запись, которую необходимо удалить, отметив ее чекбоксом.

  2. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  3. В появившемся диалоговом окне подтвердите действие нажатием на кнопку Подтвердить.

История переносов данных

В Истории переносов отображаются все переносы, построенные на основе Правил переносов и Коннекторов. Переносы можно отфильтровать по выбранному Правилу переноса или Коннектору. История переносов также отражает переносы между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.

После запуска правила переноса в Истории переносов появляется прогресс переноса.

../_images/s__progr-bar.png

При желании можно просмотреть логи истории переносов. Для этого перейдите в меню Кнопка с тремя вертикальными точками и выберите Логи. В случае ошибки лог истории переносов позволяет отследить файл при переносе которого произошла ошибка.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу записи нажмите кнопку Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные в таблице правил переноса.

Пользователь может удалить запись в истории переносов, для этого:

  1. Выберите запись, которую необходимо удалить, отметив ее чекбоксом.

  2. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  3. В появившемся диалоговом окне подтвердите действие нажатием на кнопку Подтвердить.

Перенос данных между workspace через Data transfer service

Для переноса данных между workspace необходимо:

  • Выбрать бакет S3 или папку на NFS из разделов S3 ML Space или NFS ML Space в диалоге создания Правила переноса в списке подключений.

  • Указать в источнике путь на S3/NFS до объектов переноса.

  • Выбрать бакет и путь на S3 ML Space или папку и путь NFS ML Space в качестве места назначения.

Копирование путей до папок и файлов

Чтобы скопировать путь до папки на S3 ML Space нажмите Кнопка копирования пути до объекта в панели навигации хранилища. Чтобы скопировать путь до файла, нажмите Кнопка с тремя вертикальными точками, выберите Свойства и скопируйте URL, нажав Кнопка копирования пути до объекта.

Чтобы скопировать путь до папки или файла на NFS ML Space:

  • В интерфейсе JupyterLab кликните по объекту правой кнопкой мыши и нажмите Copy path.

  • В Jupyter Notebook зайдите в терминал и выполните команду pwd, затем скопируйте путь.