Коннекторы

В рамках сервиса пользователь может подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника. Подключение реализуется с помощью предварительно настроенных коннекторов (вкладка Коннекторы).

Доступны следующие типы коннекторов:

Системные

S3 ML Space (для переносов S3/S3), NFS ML Space (для переносов S3/NFS).

Внешние

К файловым системам
  • На протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов SberCloud и S3 хранилищ пользователей).

  • HDFS (Hadoop Distributed File System) — файловая система, предназначенная для хранения файлов больших размеров, поблочно распределенных между узлами вычислительного кластера.

Важно

Сервис поддерживает только Hadoop RPC Protocol версии 9.

К базам данных
  • PostgreSQL

  • MySQL

  • MS SQL

  • Oracle DB

Названия и описания подключений сохраняются в таблице Коннекторы, которая отображается в каждом workspace. При создании Правила переноса источник и место назначения выбирается из списка подключений.

Работа с подключениями

На вкладке Коннекторы можно создавать подключения к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).

Создание подключения

Для создания нового подключения нажмите кнопку Создать подключение. Откроется диалог создания нового коннектора. Необходимо указать:

  • Название подключения: уникальное имя коннектора для последующей идентификации в Data catalog.

  • Источник: база данных или файловая система, откуда переносятся данные.

  • Параметры подключения: параметры доступа к выбранному источнику данных (варьируются в зависимости от источника, см. ниже).

Источник

Параметры подключения

MySQL, PostgreSQL, MS SQL, Oracle DB

  • IP адрес или DNS имя хоста

  • Порт

  • Пользователь

  • Пароль

  • База данных

  • Схема (опционально)

S3-хранилища Amazon, Google Сloud, Custom S3

  • Endpoint. Подробнее про Endpoint для:

  • Бакет S3 (имя бакета).

  • Access key ID. Подробнее про Access key ID для:

  • Security key. Подробнее про Security key для:

HDFS

  • IP адрес или DNS имя хоста HDFS

  • Порт

  • Имя пользователя

  • Пароль

  • Namenode principal

  • Kerberos domain

После создания коннектор отображается в таблице в списке пользовательских подключений для каждого workspace.

Операции над подключениями

Пользователь может проверить работу коннектора, нажав на кнопку Test Кнопка Test. Если параметры подключения указаны верно, коннектор подключится к источнику данных (статус Success). Если параметры указаны некорректно, тестовый запуск завершится со статусом Failed.

Для остановки подключения нажмите кнопку Stop Кнопка Stop. Подключение перейдет в статус неактивного (Inactive).

При желании коннектор можно отредактировать, просмотреть логи работы, удалить.

Чтобы проделать действия, перейдите в меню Кнопка с тремя вертикальными точками:

  • Выберите команду Редактировать подключение для внесения изменений в параметры.

  • Выберите Логи для просмотра логов. В случае ошибки в логах можно найти ее причину и устранить.

  • Выберите Удалить, если коннектор с указанным источником больше не потребуется.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу записи нажмите кнопку Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные в таблице правил переноса.

Записи в разделе можно добавлять в избранное. Для добавления в избранное нажмите Кнопка Избранное напротив требуемой строки.